4 Contoh Yang Menunjukkan Anda Tidak Dapat Mempercayai ZeroGPT dan Alat Deteksi AI Lainnya

AI chatbots tidak diragukan lagi merupakan alat yang ampuh dan berguna. Namun, kemampuan untuk membedakan antara konten buatan manusia dan buatan AI menjadi isu yang menonjol.

Untuk mengatasi masalah ini, alat seperti ZeroGPT telah muncul. Ini dirancang untuk membedakan antara AI dan konten buatan manusia. Tapi apakah mereka bekerja?

Mari kita lihat lebih dekat alat pendeteksi AI dan lihat apakah mereka dapat membedakan antara teks yang dihasilkan manusia dan AI.

Katanya bukti puding itu ada di makannya. Jadi, mari kita coba beberapa tes dan lihat seberapa efektif alat ini. Tidak mungkin menguji setiap alat, jadi kami menguji salah satu alat paling populer—ZeroGPT.

Untuk materi, kami pikir akan sangat menyenangkan untuk memberikan sedikit kesempatan kepada ChatGPT untuk menulis intro untuk artikel ini dan kemudian membandingkannya dengan intro “buatan manusia”:

Uji Satu: Membandingkan Intro Artikel yang Dihasilkan Manusia dan AI

Hal pertama yang kami lakukan adalah membuat ChatGPT menghasilkan pengantar. Kami memasukkan judul dan tidak memberikan informasi lebih lanjut. Sebagai catatan, kami menggunakan GPT-3.5 untuk pengujian.

Kami kemudian menyalin teks dan menempelkannya ke ZeroGPT. Seperti yang Anda lihat, hasilnya kurang dari bintang.

Awal yang tidak mencolok, tetapi ini menggambarkan betapa efektifnya chatbot AI. Untuk menyelesaikan pengujian, kami membiarkan ZeroGPT menganalisis intro draf buatan manusia.

Setidaknya itu membuat bagian ini benar. Secara keseluruhan, ZeroGPT gagal di babak ini. Itu memang menentukan bahwa setidaknya sebagian dari pengenalan yang dihasilkan oleh AI dicurigai tetapi gagal untuk menyoroti masalah tertentu.

Uji Dua: Masalah Positif Palsu

Seiring meningkatnya penggunaan ChatGPT dan alat AI lainnya, kemungkinan untuk mengetahui atau mendengar tentang seseorang yang dihadapkan dengan klaim bahwa pekerjaan mereka dihasilkan oleh AI meningkat. Tuduhan ini adalah salah satu masalah yang lebih serius dengan ChatGPT dan alat deteksi AI seperti ZeroGPT, karena kesalahan semacam ini dapat merusak reputasi dan memengaruhi mata pencaharian.

Positif palsu terjadi ketika konten buatan manusia salah ditandai sebagai karya AI. Seperti yang ditunjukkan contoh di bawah ini, masalahnya mudah direplikasi. Saya seorang pemancing yang tajam, jadi saya memutuskan untuk menulis pengantar artikel imajiner tentang memancing di Florida. Saya kemudian membiarkan ZeroGPT menganalisis teks—ini menandai bahwa teks tersebut 100% dihasilkan oleh AI.

Agar adil, saya mengincar hasil ini. Saya menyimpan teksnya secara umum dan menggunakan bahasa "penjualan". Tetapi poin bahwa manusia menulis ini tetap valid. Ini bukan ketidaknyamanan atau sesuatu yang bisa diabaikan begitu saja. Kesalahan seperti ini dapat berdampak serius bagi penulis, mahasiswa, dan profesional lain yang membuat karya tulis.

Uji Tiga: Menguji ZeroGPT pada Fiksi

Untuk tes ketiga, kita akan menggunakan ChatGPT dan memintanya untuk menulis fiksi. Untuk melakukan ini, kami membuat skenario dan meminta ChatGPT untuk menulis pengantar singkat tentang cerita fiksi.

Kami membuatnya sederhana dan hanya meminta untuk menulis pengantar cerita tentang dua orang asing yang bertemu di peron kereta api:

Dan inilah tanggapan dari ZeroGPT:

Seperti yang terlihat dari hasilnya, ZeroGPT tidak dapat membedakan fakta dari fiksi saat berhadapan dengan fiksi!

Tes Empat: Artikel Berita

Ada sesuatu yang meresahkan tentang kemampuan AI untuk memberi tahu kita tentang apa yang terjadi di dunia sekitar kita. Ini tidak selalu merupakan “berita palsu”, karena dapat relevan dan informatif, tetapi ada kekhawatiran etis yang pasti tentang AI.

Agar adil bagi ZeroGPT, ini bekerja dengan baik dalam pengujian ini. Kami meminta ChatGPT dan Bing Chat untuk menulis artikel berita tentang beberapa subjek, dan ZeroGPT berhasil setiap saat. Contoh di bawah menunjukkan dengan benar mendeklarasikan artikel yang dihasilkan Bing Chat sebagai 100% buatan AI.

Alat tersebut secara konsisten menandai setiap artikel berita sebagai buatan AI sehingga kami memutuskan untuk mengujinya pada artikel berita tiruan yang kami tulis untuk tujuan tersebut.

Itu setidaknya mengidentifikasi beberapa artikel sebagai buatan manusia, tetapi menandai lebih dari 70% sebagai buatan AI. Sekali lagi, kita harus adil di sini; ini adalah hash ulang yang cukup mendasar dari artikel Bing dan hampir tidak memiliki kualitas Hadiah Pulitzer.

Tapi intinya tetap valid. Ini ditulis oleh manusia menggunakan penelitian yang ditemukan di internet.

Tidak ada satu pun alasan di balik kelemahan alat seperti ZeroGPT. Namun, satu masalah mendasar adalah keefektifan chatbot AI generatif. Ini mewakili teknologi yang sangat kuat dan berkembang pesat yang secara efektif menjadikannya target bergerak untuk alat deteksi AI.

AI chatbots terus meningkatkan kualitas dan "kemanusiaan" dari output mereka, dan ini membuat tugas menjadi sangat menantang. Namun, terlepas dari kesulitannya, sisi AI dari persamaan harus membuat keputusan tanpa pengawasan manusia.

Alat seperti ZeroGPT menggunakan AI untuk menentukannya. Tapi AI tidak hanya bangun di pagi hari dan tahu apa yang harus dilakukan. Itu harus dilatih, dan di sinilah sisi teknis persamaan menjadi relevan.

Bias algoritmik dan data pelatihan tidak dapat dihindari, mengingat ukurannya yang tipis model bahasa besar tempat alat ini dilatih. Ini bukan masalah yang terbatas pada alat pendeteksi AI, bias yang sama dapat menyebabkan AI chatbots menghasilkan tanggapan yang salah dan halusinasi AI.

Namun, kesalahan ini memanifestasikan dirinya sebagai "bendera AI" yang salah dalam alat deteksi. Ini hampir tidak ideal, tetapi ini merupakan cerminan dari keadaan teknologi AI saat ini. Bias yang melekat pada data pelatihan dapat menyebabkan positif palsu atau negatif palsu.

Faktor lain yang harus diperhatikan adalah apa yang dimaksud dengan konten buatan AI. Jika konten yang dibuat oleh AI hanya diubah kata-katanya, apakah itu konten yang dibuat oleh manusia atau AI? Ini merupakan tantangan besar lainnya—garis batas yang kabur di antara keduanya membuat definisi konten buatan mesin hampir mustahil.

Menatap Masa Depan Deteksi AI

Ini mungkin terdengar seperti kami mengetuk alat seperti ZeroGPT. Bukan itu masalahnya; mereka menghadapi tantangan besar, dan teknologinya hampir tidak ada di popok. Pemanfaatan alat yang cepat seperti ChatGPT telah menciptakan permintaan untuk deteksi AI, dan teknologi tersebut harus diberi kesempatan untuk menjadi dewasa dan belajar.

Alat-alat ini tidak dapat diharapkan untuk menghadapi tantangan yang ditimbulkan oleh chatbot sendiri. Tetapi mereka dapat memainkan peran yang berharga dalam upaya bersama dan multifaset untuk mengatasi tantangan AI. Mereka mewakili satu bagian dari teka-teki yang lebih besar yang mencakup praktik AI etis, pengawasan manusia, serta penelitian dan pengembangan yang sedang berlangsung.

Tantangan yang dihadapi oleh alat-alat ini adalah cerminan dari tantangan yang dihadapi masyarakat saat kita bergulat dengan dilema yang terkait dengan era teknologi baru.

AI atau Bukan AI? Itulah Pertanyaannya

Alat seperti ZeroGPT cacat, tidak diragukan lagi. Tapi itu bukannya tidak berharga, dan itu mewakili langkah penting saat kami mencoba mengelola dan mengatur AI. Akurasi mereka akan meningkat, begitu juga kecanggihan AI yang mereka latih untuk dideteksi. Di suatu tempat di tengah perlombaan senjata ini, kita perlu menemukan keseimbangan yang nyaman bagi masyarakat.

Pertanyaannya—AI atau bukan AI? Lebih dari sekedar diskusi tentang apakah sesuatu dihasilkan oleh AI atau tidak. Ini menunjukkan pertanyaan lebih besar yang dihadapi masyarakat saat kita beradaptasi dengan dunia baru AI yang berani.

Sebagai catatan, dan menurut ZeroGPT, 27,21% dari kesimpulan ini dihasilkan oleh AI. Hmm.