Siapa yang Mendeteksi Deepfakes Lebih Baik: Manusia atau Mesin?

Poin Penting

• Deepfake menimbulkan ancaman besar terhadap masyarakat, termasuk menyebarkan disinformasi, merusak reputasi melalui peniruan identitas, dan memicu konflik demi keamanan nasional.
• Meskipun teknologi AI menawarkan alat untuk mendeteksi deepfake, teknologi tersebut tidak sempurna, dan kebijaksanaan manusia tetap penting dalam mengidentifikasi deepfake.
• Alat pendeteksi manusia dan AI memiliki kekuatan dan kelemahan yang berbeda dalam mengidentifikasi deepfake, dan menggabungkan kemampuan mereka dapat meningkatkan tingkat keberhasilan dalam mendeteksi dan mengurangi bahaya deepfake teknologi.

Deepfake mengancam setiap aspek masyarakat. Kemampuan kita untuk mengidentifikasi konten palsu sangat penting untuk menghilangkan disinformasi, namun seiring dengan kemajuan teknologi AI, siapa yang dapat kita percayai untuk mendeteksi deepfake: manusia atau mesin?

Bahaya Deepfake

Seiring kemajuan teknologi AI, bahaya deepfake menimbulkan ancaman yang semakin besar bagi kita semua. Berikut ringkasan singkat dari beberapa masalah paling mendesak yang ditimbulkan oleh deepfake:

• Disinformasi: Video dan rekaman suara yang dipalsukan dapat menyebarkan disinformasi, seperti berita palsu.
• Peniruan: Dengan meniru identitas seseorang, deepfake dapat merusak reputasi seseorang atau menipu siapa pun yang dikenalnya.
• Keamanan nasional: Skenario kiamat yang jelas terlihat dalam deepfake adalah rekaman atau audio palsu dari seorang pemimpin global yang memicu konflik.
• Kerusuhan sipil: Rekaman dan audio yang menipu juga dapat digunakan oleh pihak-pihak tertentu untuk memicu kemarahan dan keresahan sipil di kalangan kelompok tertentu.
• Keamanan cyber: Penjahat dunia maya sudah menggunakan alat kloning suara AI untuk menargetkan individu dengan pesan yang meyakinkan dari orang yang mereka kenal.
• Privasi dan persetujuan: Penggunaan deepfake yang jahat mengambil kemiripan dengan individu tanpa persetujuan mereka.
• Kepercayaan dan keyakinan: Jika Anda tidak dapat membedakan antara kebenaran dan kebohongan, informasi yang akurat juga tidak dapat dipercaya.

Deepfake akan semakin meyakinkan, jadi kita memerlukan alat dan proses yang kuat untuk mendeteksinya. AI menyediakan salah satu alat tersebut dalam bentuk model deteksi deepfake. Namun, seperti algoritma yang dirancang untuk mengidentifikasi tulisan yang dihasilkan AI, alat pendeteksi deepfake tidaklah sempurna.

Saat ini, kebijaksanaan manusia adalah satu-satunya alat yang dapat kita andalkan. Jadi, apakah kita lebih baik dari algoritma dalam mengidentifikasi deepfake?

Bisakah Algoritma Mendeteksi Deepfake Lebih Baik Daripada Manusia?

Deepfake merupakan ancaman yang cukup serius sehingga raksasa teknologi dan kelompok penelitian mendedikasikan sumber daya yang besar untuk penelitian dan pengembangan. Pada tahun 2019, perusahaan seperti Meta, Microsoft, dan Amazon menawarkan hadiah $1.000.000 selama Tantangan Deteksi Deepfake untuk model deteksi paling akurat.

Model dengan performa terbaik memiliki akurasi 82,56% dibandingkan kumpulan data video yang tersedia untuk umum. Namun, ketika model yang sama diuji terhadap "kumpulan data kotak hitam" yang terdiri dari 10.000 video yang tidak terlihat, model dengan performa terbaik hanya memiliki akurasi 65,18%.

Kami juga memiliki banyak penelitian yang menganalisis kinerja alat pendeteksi AI deepfake terhadap manusia. Tentu saja, hasilnya bervariasi dari satu penelitian ke penelitian berikutnya, tetapi secara umum, tingkat keberhasilan manusia setara atau lebih baik dari alat pendeteksi deepfake.

Satu studi tahun 2021 diterbitkan di PNAS menemukan bahwa "pengamat manusia biasa" mencapai tingkat akurasi yang sedikit lebih tinggi dibandingkan alat pendeteksi deepfake terkemuka. Namun, penelitian tersebut juga menemukan bahwa partisipan manusia dan model AI rentan terhadap berbagai jenis kesalahan.

Menariknya, penelitian yang dilakukan oleh Universitas Sydney telah menemukan bahwa otak manusia, secara tidak sadar, lebih efektif dalam mendeteksi kebohongan dibandingkan upaya sadar kita.

Mendeteksi Petunjuk Visual di Deepfakes

Ilmu pendeteksian deepfake sangatlah kompleks, dan analisis yang diperlukan bervariasi, bergantung pada sifat rekamannya. Misalnya, video deepfake pemimpin Korea Utara Kim Jong-un yang terkenal pada tahun 2020 pada dasarnya adalah video kepala yang sedang berbicara. Dalam hal ini, metode deteksi deepfake yang paling efektif mungkin adalah menganalisis viseme (gerakan mulut) dan fonem (suara fonetik) untuk mencari ketidakkonsistenan.

Pakar manusia, pengamat biasa, dan algoritme semuanya dapat melakukan analisis semacam ini, meskipun hasilnya berbeda-beda. Itu MIT mendefinisikan delapan pertanyaan untuk membantu mengidentifikasi video deepfake:

• Perhatikan wajah. Manipulasi DeepFake kelas atas hampir selalu berupa transformasi wajah.
• Perhatikan pipi dan dahi. Apakah kulit tampak terlalu halus atau terlalu keriput? Apakah penuaan kulit sama dengan penuaan rambut dan mata? DeepFakes mungkin tidak selaras pada beberapa dimensi.
• Perhatikan mata dan alisnya. Apakah bayangan muncul di tempat yang Anda harapkan? DeepFakes mungkin gagal mewakili fisika alami suatu adegan sepenuhnya.
• Perhatikan kacamatanya. Apakah ada silau? Apakah ada terlalu banyak silau? Apakah sudut silau berubah ketika orang tersebut bergerak? Sekali lagi, DeepFakes mungkin gagal mewakili sepenuhnya fisika alami pencahayaan.
• Perhatikan apakah ada rambut di wajah atau kekurangannya. Apakah bulu wajah ini terlihat asli? DeepFakes mungkin menambah atau menghilangkan kumis, cambang, atau janggut. Namun, DeepFakes mungkin gagal membuat transformasi rambut wajah menjadi alami.
• Perhatikan tahi lalat di wajah. Apakah tahi lalat itu terlihat nyata?
• Perhatikan saat berkedip. Apakah orang tersebut berkedip cukup atau terlalu banyak?
• Perhatikan gerakan bibir. Beberapa deepfake didasarkan pada sinkronisasi bibir. Apakah gerakan bibir terlihat natural?

Alat pendeteksi deepfake AI terbaru dapat menganalisis faktor yang sama, sekali lagi, dengan tingkat keberhasilan yang berbeda-beda. Para ilmuwan data juga terus mengembangkan metode baru, seperti mendeteksi aliran darah alami di wajah speaker di layar. Pendekatan baru dan penyempurnaan terhadap pendekatan yang sudah ada dapat menghasilkan alat pendeteksi AI deepfake yang secara konsisten mengungguli manusia di masa depan.

Mendeteksi Petunjuk Audio di Deepfakes

Mendeteksi audio deepfake adalah tantangan yang sangat berbeda. Tanpa isyarat visual dari video dan kemampuan untuk mengidentifikasi inkonsistensi audiovisual, deepfake deteksi sangat bergantung pada analisis audio (metode lain seperti verifikasi metadata juga dapat membantu dalam beberapa hal kasus).

Sebuah penelitian yang diterbitkan oleh Universitas Perguruan Tinggi London pada tahun 2023 ditemukan manusia dapat mendeteksi ucapan deepfake sebanyak 73% (Bahasa Inggris dan Mandarin). Seperti halnya video deepfake, pendengar manusia sering kali secara intuitif mendeteksi pola ucapan yang tidak wajar dalam ucapan yang dihasilkan AI, meskipun mereka tidak dapat menentukan apa yang tampak salah.

Tanda-tanda umum meliputi:

• Mencemooh
• Kurangnya ekspresi
• Latar belakang atau gangguan kebisingan
• Inkonsistensi vokal atau ucapan
• Kurangnya "kepenuhan" dalam suara
• Pengiriman yang terlalu ditulis
• Kurangnya ketidaksempurnaan (start yang salah, koreksi, pembersihan tenggorokan, dll.)

Sekali lagi, algoritme juga dapat menganalisis ucapan untuk sinyal deepfake yang sama, namun metode baru membuat alat ini lebih efektif. Penelitian oleh USENIX mengidentifikasi pola dalam rekonstruksi saluran vokal AI yang gagal meniru ucapan alami. Ini merangkum bahwa generator suara AI menghasilkan audio yang cocok dengan saluran vokal sempit (kira-kira seukuran sedotan) tanpa gerakan alami ucapan manusia.

Penelitian sebelumnya dari Institut Horst Görtz menganalisis audio asli dan deepfake dalam bahasa Inggris dan Jepang, mengungkapkan perbedaan halus dalam frekuensi yang lebih tinggi dari ucapan asli dan deepfake.

Inkonsistensi saluran vokal dan frekuensi tinggi dapat terlihat oleh pendengar manusia dan model deteksi AI. Dalam hal perbedaan frekuensi tinggi, model AI secara teoritis bisa menjadi semakin akurat—walaupun hal yang sama juga berlaku untuk deepfake AI.

Manusia dan Algoritma Sama-sama Tertipu oleh Deepfake, namun dengan Cara yang Berbeda

Penelitian menunjukkan bahwa manusia dan alat pendeteksi AI terbaru juga mampu mengidentifikasi deepfake. Tingkat keberhasilan dapat bervariasi antara 50% dan 90+%, bergantung pada parameter pengujian.

Selain itu, manusia dan mesin juga tertipu oleh deepfake dalam skala yang sama. Namun yang terpenting, kita rentan dalam berbagai cara, dan ini bisa menjadi aset terbesar kita dalam mengatasi bahaya teknologi deepfake. Menggabungkan kekuatan manusia dan alat deteksi deepfake akan mengurangi kelemahan masing-masing alat dan meningkatkan tingkat keberhasilan.

Misalnya, MIT Penelitian menemukan bahwa manusia lebih baik dalam mengidentifikasi deepfake para pemimpin dunia dan orang-orang terkenal dibandingkan model AI. Hal ini juga mengungkapkan bahwa model AI kesulitan dengan rekaman yang menampilkan banyak orang, meskipun hal ini menunjukkan bahwa hal ini mungkin disebabkan oleh algoritma yang dilatih pada rekaman yang menampilkan satu pembicara.

Sebaliknya, penelitian yang sama menemukan bahwa model AI mengungguli manusia dengan rekaman berkualitas rendah (buram, berbintik, gelap, dll.) yang dapat dengan sengaja digunakan untuk menipu pemirsa manusia. Demikian pula, metode pendeteksian AI terkini seperti memantau aliran darah di area wajah tertentu menyertakan analisis yang tidak mampu dilakukan manusia.

Dengan semakin banyaknya metode yang dikembangkan, kemampuan AI untuk mendeteksi tanda-tanda yang tidak dapat kita deteksi hanya akan meningkat, namun demikian juga dengan kemampuannya untuk menipu. Pertanyaan besarnya adalah apakah teknologi deteksi deepfake akan terus melampaui deepfake itu sendiri.

Melihat Segala Sesuatu Secara Berbeda di Era Deepfakes

Alat pendeteksi AI deepfake akan terus ditingkatkan, begitu pula kualitas konten deepfake itu sendiri. Jika kemampuan AI untuk menipu melampaui kemampuannya untuk mendeteksi (seperti yang terjadi pada teks yang dihasilkan AI), kebijaksanaan manusia mungkin merupakan satu-satunya alat yang tersisa untuk melawan deepfake.

Setiap orang mempunyai tanggung jawab untuk mempelajari tanda-tanda deepfake dan cara mengenalinya. Selain melindungi diri kita dari penipuan dan ancaman keamanan, segala sesuatu yang kita diskusikan dan bagikan secara online rentan terhadap disinformasi jika kita kehilangan pemahaman akan kenyataan.