Apa Itu Musik Deepfake? Dan Bagaimana Itu Dibuat?

Untuk waktu yang lama, musik dapat menghindari dunia deepfake karena terlalu rumit untuk menyintesis suara seseorang. Itu semua berubah dengan kemajuan teknologi AI. Ini telah menghasilkan klon suara artis terkenal yang dapat digunakan untuk menghasilkan trek vokal baru.

Dengan alat AI menjadi lebih mudah diakses oleh orang kebanyakan, musik deepfake menjadi masalah yang berkembang. Inilah apa itu dan bagaimana itu dibuat.

Evolusi Musik Deepfake

Saat Anda mendengar artis favorit Anda bernyanyi di Spotify atau YouTube, Anda hampir tidak mengira itu palsu, tetapi kemajuan AI telah mewujudkannya. Selain gambar dan video palsu, musik deepfake juga ada.

Alat AI dapat secara akurat mereproduksi suara nyanyian seseorang dengan melatih model AI pada sampel audio suaranya. Dibuat oleh penggemar artis, atau penggemar teknologi AI, semakin banyak orang yang mencoba membuat doppelgänger vokal.

Orang-orang telah mencoba mensintesis suara menggunakan komputer selama bertahun-tahun, sejak tahun 1961 ketika IBM 7094 adalah komputer pertama yang bernyanyi. Anda dapat mendengar

suara buatan komputer menyanyikan Daisy Bell dalam klip YouTube dan coba bayangkan betapa menakjubkannya momen ini.

Maju cepat ke abad ke-21 dan teknologi AI telah meningkatkan kualitas suara yang disintesis dan memungkinkan kami melakukan hal-hal yang sebagian besar dari kami tidak pernah berpikir mungkin sampai sekarang, seperti mengkloning suara orang.

Lihat saja klip Roberto Nickson yang mengubah suaranya menjadi artis dan rapper Kanye West. Menonton videonya terasa aneh, benar-benar terdengar seperti Kanye, tapi juga tidak nyaman untuk ditonton. Tanpa terlalu memikirkan bagaimana artis mungkin berpikir atau merasakan, dan tanpa izin, itu bisa dilihat sebagai mengambil suara seseorang.

Berbeda dengan versi komputer dari Daisy Bell, kloning vokal AI mampu mereproduksi kemiripan yang tepat suara seseorang, yang mencakup semua perbedaan halus dalam timbre yang membantu kami mengidentifikasi vokal unik seseorang Profil. Tanpa lisensi, dan dilakukan tanpa izin, bagaimanapun, musik deepfake memiliki beberapa masalah serius, yang akan kita bahas nanti.

Bagaimana Lagu Deepfake Dibuat

Berbagai metode digunakan untuk membuat lagu deepfake, tetapi banyak di antaranya menggunakan teknologi AI. Proyek sumber terbuka seperti Proyek Konversi Suara Nyanyian SoftVC VITS di GitHub, misalnya, telah mengembangkan model AI yang melakukan apa yang tertulis dalam namanya: mengonversi sampel audio menjadi suara nyanyian.

Model ini mengambil file audio yang sudah ada dari seseorang yang bernyanyi dan mengubahnya menjadi suara orang lain. Hal-hal seperti lirik dan ritme dari suara asli disimpan, tetapi nada, timbre, dan kualitas vokal pribadi diubah menjadi suara yang ditentukan oleh kumpulan data pelatihan.

Perlu diingat bahwa bagian lain dari lagu tersebut mungkin masih diproduksi secara manual, seperti membuat ketukan dan melodi dengan gaya dan genre yang sama dengan artis aslinya.

Untuk membuat deepfake dari suara Kanye West, dataset pihak ketiga harus dimasukkan ke dalam model SoftVC VITS, yang akan mencakup sampel suara Kanye yang asli. File yang berisi kumpulan data tersebut telah dihapus oleh penulisnya, yang tidak mengherankan mengingat wilayah hukum yang tidak jelas yang mungkin datang dengan kumpulan data yang tidak sah.

Meskipun belum diubah menjadi aplikasi komersial, Anda dapat menemukan versinya Model SoftVC VITS di Google Collab yang lebih ramah pengguna.

Sampai batasan etika dan hukum diberlakukan, mungkin aplikasi kloning suara yang lebih mudah digunakan akan melakukannya pop up — tidak terlalu berbeda dengan aplikasi Drayk.it yang mengubah deskripsi teks menjadi lagu yang ditata menurut artis Itik jantan. Itu kemudian ditutup.

Beberapa alat lain yang digunakan untuk membuat musik deepfake termasuk model bahasa besar seperti ChatGPT, yang bisa digunakan untuk menulis lirik ala artis terkenal; Dan Jukebox OpenAI Dan MusicLM Google, yang merupakan model AI generatif yang dapat membuat musik dalam bentuk audio mentah sepenuhnya dari awal.

Bisakah Anda Mendengar Perbedaannya?

Lagu yang dibuat oleh pengguna anonim bernama Ghostwriter menjadi viral di TikTok pada April 2023, sebagian besar karena menampilkan lirik yang dinyanyikan oleh artis Drake dan The Weeknd. Tentu saja, ini bukan suara artis asli, tapi palsu.

Seandainya vokalnya bukan salinan yang bagus dari aslinya, itu mungkin tidak akan menjadi hit. Dengan sedikit penggalian, Anda dapat mengetahui dengan cepat apakah itu asli atau tidak, tetapi hanya dengan menggunakan telinga Anda, Anda hanya dapat menebak apakah itu asli.

Jika Anda menghendaki mengidentifikasi gambar yang dihasilkan AI setidaknya ada beberapa penyimpangan visual yang bisa Anda cari. Untuk audio, tanda-tanda seperti audio fidelitas rendah atau gangguan di trek tidak terlalu berarti karena itu adalah pilihan kreatif yang digunakan dalam produksi musik sepanjang waktu.

Yang lebih menarik adalah banyak orang yang benar-benar menyukai lagu tersebut, bahkan setelah mengetahui bahwa itu bukanlah suara asli Drake atau The Weeknd. Pengagum menunjukkan bahwa tidak semuanya hanya dihasilkan dengan AI, dan keterampilan serta kerja nyata itu digunakan untuk menulis lirik, menyusun ketukan, dan menyatukan semuanya.

Lagu tersebut berhasil masuk ke Spotify dan YouTube sebelum dihapus pada hari-hari berikutnya, tetapi tidak sebelum penggemar mengunduh lagu tersebut sebagai mp3. Anda masih dapat menemukan salinan lagu tersebut secara online jika Anda mencari "Heart On My Sleeve, Drake ft. Akhir pekan".

Tak lama lagi, menemukan perbedaan antara klon vokal buatan AI dan suara manusia asli akan menjadi hampir mustahil. Dengan mengingat hal itu, orang-orang mempertanyakan apakah ini penggunaan teknologi AI yang baik, atau bahkan penggunaan yang legal.

Masalah Dengan Musik Deepfake

Di satu sisi, orang-orang menikmati mendengarkan mashup buatan penggemar dari artis favorit mereka dan menghargai kreativitas yang mewujudkannya. Tetapi kemampuan untuk memiliki klon vokal pada awalnya bergantung pada kumpulan data yang mungkin atau mungkin tidak diotorisasi.

Tanpa izin, sampel suara seseorang dikumpulkan ke dalam kumpulan data yang kemudian digunakan untuk melatih model konversi suara AI. Ini mirip dengan masalah yang dihadapi oleh artis yang ingin menghapus gambar mereka dari kumpulan data pelatihan yang digunakan untuk melatih generator gambar AI seperti Dall-E atau Midjourney.

Undang-undang hak cipta juga tidak cukup siap untuk menangani musik deepfake. Pada tahun 2020, artis Jay-Z gagal dalam mencoba memaksa YouTube untuk menghapus audio yang dihasilkan AI dari baris-baris rapnya dari solilokui "To Be or Not to Be" karya William Shakespeare.

Saat lagu deepfake diunggah ke Spotify atau YouTube, muncul juga pertanyaan siapa yang menghasilkan uang. Apakah Anda bisa mendapatkan uang dari lagu yang meniru suara orang lain hampir persis?

Holly Herndon adalah salah satu artis yang telah mencoba membuat sistem bagi orang-orang untuk memberikan kompensasi kepadanya sebagai imbalan atas penggunaan model suaranya untuk membuat karya orisinal. Sementara artis lain seperti Nick Cave punya berbicara menentang AI, menulis:

Lagu-lagu muncul dari penderitaan, yang saya maksud lagu-lagu itu didasarkan pada perjuangan penciptaan manusia yang kompleks dan internal dan, sejauh yang saya tahu, algoritma tidak terasa.

Kadang-kadang, Teks yang dihasilkan AI dapat kekurangan kreativitas sama sekali namun mereka masih diposting online. AI dapat menghasilkan banyak musik buruk yang hanya memiliki sedikit usaha untuk melakukannya.

Menemukan Keseimbangan Antara Musik dan AI

Musik deepfake dibuat menggunakan alat AI dan model AI yang telah dilatih pada kumpulan data yang tidak sah. Beberapa model bersifat open-source dan dapat diakses secara bebas, sementara upaya lain telah dilakukan untuk mengemasnya menjadi aplikasi yang mudah digunakan.

Karena semakin banyak orang yang menggunakan model atau aplikasi musik deepfake, ada baiknya memikirkan dampaknya terhadap artis. Mendapatkan persetujuan untuk melatih dataset dan kompensasi untuk artis hanyalah beberapa masalah yang membayangi teknologi musik AI.