Kemampuan AI chatbots berkembang pesat. Tapi bisakah mereka membuat kode, dan mana yang lebih baik dalam tugas itu?
Saat Google meluncurkan Bard, jawabannya untuk ChatGPT OpenAI, ia kehilangan fitur yang cukup populer di kalangan pengguna ChatGPT: kemampuan untuk menulis kode. Namun, mengikuti permintaan populer, Google memberi kesempatan kepada Bard, memungkinkannya untuk menulis kode dalam lusinan bahasa pemrograman.
Google sejak itu vokal tentang seberapa baik Bard dapat menulis dan men-debug kode, tetapi bagaimana perbandingannya dengan ChatGPT yang fenomenal? Ayo cari tahu.
ChatGPT vs. Bard: Dukungan Bahasa
Secara resmi, Bard Google dapat bekerja dengan sekitar 20 bahasa pemrograman. Ini sebagian besar terdiri dari yang populer seperti TypeScript, Python, C++, Go, Java, JavaScript, dan PHP. Itu masih dapat menangani opsi yang kurang populer seperti Perl dan Scala tetapi belum tentu seefisien itu.
ChatGPT di sisi lain tidak memiliki daftar resmi bahasa yang didukung. Chatbot dapat menangani sebagian besar dari apa yang dapat ditangani Bard dan lusinan lainnya. ChatGPT dapat menulis, men-debug, dan menjelaskan kode dalam bahasa pemrograman yang lebih baru dan populer
kurang populer, bahasa lama seperti Fortran, Pascal, BASIC, dan COBOL.Namun, dukungan tidak selalu berarti kemahiran. Kami mencoba beberapa tugas sederhana dalam bahasa tertentu seperti PHP, JavaScript, BASIC, dan C++. Baik Bard dan ChatGPT mampu menyampaikan bahasa pemrograman populer, tetapi hanya ChatGPT yang mampu merangkai program secara meyakinkan dalam bahasa lama. Jadi dalam hal dukungan bahasa, kami memberikan kemenangan kepada ChatGPT.
ChatGPT vs. Bard: Akurasi dan Kualitas Kode
Katakanlah Anda meminta ChatGPT atau Bard untuk membuat sepotong kode yang melakukan sesuatu, dan itu mengeluarkan lusinan baris kode dalam hitungan detik. Mudah, bukan? Tetapi seberapa sering kode itu akan berfungsi? Katakanlah kodenya berfungsi; seberapa bagus kode itu?
Untuk membandingkan keakuratan dan kualitas kode yang dihasilkan oleh dua chatbot AI, kami memberi keduanya beberapa tugas pengkodean untuk diselesaikan. Kami meminta Bard dan ChatGPT untuk membuat aplikasi daftar tugas sederhana menggunakan HTML, CSS, dan JavaScript. Setelah menyalin-menempel dan melihat kode yang dihasilkan di browser, aplikasi ChatGPT terlihat seperti ini:
Menggunakan versi ChatGPT, Anda dapat menambahkan tugas baru, menghapus tugas, atau menandai tugas sebagai selesai. Bard Google juga dapat menghasilkan aplikasi daftar tugas yang fungsional. Namun, Anda hanya dapat menambahkan tugas, tanpa menghapus atau menandainya sebagai selesai. Antarmuka Bard juga tampak kurang menarik; inilah tampilannya:
Kami mengulangi pengujian, kali ini meminta kedua chatbot untuk membuat ulang kartu timeline Twitter. Inilah hasil ChatGPT:
Dan inilah yang diproduksi Bard Google:
Kedua hasil memiliki pro dan kontra. Kami akan menggunakan hasil Bard jika ada tombol suka, retweet, dan komentar. Namun, anehnya itu tidak termasuk, jadi kami akan membiarkan Anda memutuskan mana yang lebih baik. Tentu saja, kualitas kode bukan hanya tentang estetika dari apa yang dihasilkannya.
Saat menganalisis kode yang dihasilkan oleh kedua chatbot, Bard tampaknya lebih berorientasi objek sedangkan ChatGPT lebih prosedural. Pilihan bahasa pemrograman kami dapat memengaruhi hal ini, tetapi ChatGPT sepertinya menulis kode yang lebih bersih jika diperlukan. Itu juga cenderung menghasilkan solusi yang lebih lengkap, biasanya mengarah ke lebih banyak baris kode.
Dalam hal kualitas kode yang dihasilkan, kami memberikan putaran ini kepada ChatGPT.
ChatGPT vs. Bard: Debugging dan Deteksi Kesalahan
Kesalahan dan bug seperti teka-teki yang sangat dibenci oleh pemrogram. Mereka akan membuat Anda gila, tetapi memperbaikinya cukup memuaskan. Jadi, saat Anda menemukan bug dalam kode Anda, sebaiknya Anda menghubungi Bard atau ChatGPT untuk meminta bantuan? Untuk memutuskan, kami memberi kedua AI chatbots dua masalah debug untuk dipecahkan.
Pertama, kami meminta kedua chatbot untuk memecahkan kesalahan logis dalam kode PHP. Kesalahan logika terkenal lebih sulit dikenali karena kode yang memuatnya tidak terlihat salah, hanya saja tidak melakukan apa yang dimaksudkan oleh pemrogram.
Kode di tangkapan layar ini berjalan, tetapi tidak berfungsi. Bisakah Anda menemukan kesalahan logika? Kami meminta bantuan Google Bard dan sayangnya, chatbot tidak dapat menemukan kesalahan logis dalam kode. Menariknya, Bard Google biasanya memiliki tiga draf upaya untuk memecahkan masalah, kami memeriksa ketiga draf tersebut dan semuanya salah.
Kami kemudian meminta bantuan ChatGPT, dan segera memilih kesalahan logis.
Skrip PHP tidak memiliki kesalahan sintaks, tetapi logika di aneh() fungsinya mundur. Untuk melihat apakah sebuah angka ganjil, Anda biasanya memeriksa apakah ada sisa setelah membaginya dengan 2. Jika ya, itu adalah angka ganjil.
Sementara Bard sama sekali tidak mengidentifikasi bug ini, ChatGPT mengambilnya pada upaya pertama. Kami mencoba empat kesalahan logis lagi dan Bard hanya dapat menemukan kesalahan dalam satu contoh sementara ChatGPT mengirimkannya secara konsisten. Setelah beralih ke kode dengan kesalahan sintaksis, Bard Google dapat mengikuti, mengidentifikasinya di hampir semua sampel yang disajikan.
Bard Google relatif bagus dalam debugging, tetapi kami akan memberikan kemenangan ini untuk ChatGPT sekali lagi.
ChatGPT vs. Bard: Kesadaran Konteks
Salah satu tantangan terbesar dengan penggunaan chatbot AI untuk pengkodean adalah kesadaran konteks mereka yang relatif terbatas. Anda meminta chatbot untuk menulis beberapa kode, lalu beberapa lagi... sepanjang garis, itu benar-benar lupa bahwa hal berikutnya yang sedang dibangun adalah bagian dari proyek yang sama.
Misalnya, Anda sedang membuat aplikasi web dengan AI chatbot. Anda memintanya untuk menulis kode untuk halaman pendaftaran dan login HTML Anda, dan itu melakukannya dengan sempurna. Dan kemudian, saat Anda terus membangun, Anda meminta chatbot untuk membuat skrip sisi server untuk menangani logika login. Ini adalah tugas yang sederhana, tetapi karena kesadaran konteks yang terbatas, ini bisa menghasilkan skrip login dengan variabel baru dan konvensi penamaan yang tidak cocok dengan kode lainnya.
Jadi, chatbot mana yang lebih baik dalam mempertahankan kesadaran konteks? Kami memberi kedua alat tugas pemrograman yang sama: aplikasi obrolan yang kami tahu sudah bisa dibuat oleh ChatGPT.
Sayangnya, Bard tidak dapat menyelesaikan aplikasi karena kehilangan jejak konteks proyek setelah tidak digunakan selama beberapa waktu. Meski tunduk pada ketentuan yang sama, ChatGPT menyelesaikan aplikasinya. Sekali lagi, dalam hal kesadaran konteks, kami memberikannya kepada ChatGPT.
ChatGPT vs. Bard: Pemecahan Masalah
Pada titik ini, Bard Google masih kurang dalam banyak hal. Tapi bisakah itu akhirnya mencetak kemenangan? Mari kita uji kemampuan pemecahan masalahnya. Terkadang Anda hanya memiliki masalah, tetapi Anda tidak yakin bagaimana cara merepresentasikannya secara terprogram, apalagi cara menyelesaikannya.
Situasi seperti ini adalah ketika chatbot AI seperti Bard dan ChatGPT bisa sangat berguna. Tapi chatbot mana yang memiliki kemampuan pemecahan masalah yang lebih baik? Kami meminta mereka berdua untuk "tulis kode JavaScript yang menghitung berapa kali kata tertentu muncul dalam teks."
Bard merespons dengan kode yang berfungsi, meskipun gagal saat tanda baca dekat dengan kata atau kata tersebut muncul dalam kasus yang berbeda.
Kami melemparkan masalah yang sama di ChatGPT dan inilah hasilnya:
Kode ChatGPT menggunakan pendekatan yang lebih kuat dan akurat untuk menghitung kemunculan kata dalam teks. Itu mempertimbangkan batas kata dan sensitivitas huruf, menangani tanda baca dengan benar, dan memberikan hasil yang lebih andal. Sekali lagi, dalam hal penyelesaian masalah, kami serahkan kepada ChatGPT.
Karena Google Bard telah kehilangan cukup banyak di setiap metrik yang kami gunakan untuk perbandingan, kami memutuskan untuk memberikannya kesempatan pada penebusan. Kami meminta chatbot "Mana yang lebih baik dalam pengkodean? ChatGPT atau Google Bard?"
Meskipun setuju bahwa ChatGPT lebih kreatif, Bard mengatakan bahwa pesaingnya cenderung melakukan kesalahan dan bahwa ChatGPT menghasilkan kode yang kurang efisien, tidak terstruktur dengan baik, dan umumnya kurang dapat diandalkan. Kita harus tidak setuju!
ChatGPT Ada di Liganya Sendiri
Bard Google telah menikmati banyak hype, jadi mungkin mengejutkan melihat betapa banyak kekurangannya dibandingkan dengan ChatGPT. Meskipun ChatGPT jelas memiliki keunggulan, Anda mungkin berpikir sumber daya Google yang sangat besar akan membantunya mengikis keunggulan itu.
Terlepas dari hasil ini, tidak bijaksana untuk menghapus Bard sebagai bantuan pemrograman. Meskipun tidak sekuat ChatGPT, Bard masih memberikan pukulan yang signifikan dan berkembang dengan sangat cepat. Mengingat sumber daya Google, kemunculan Bard sebagai saingan yang layak tentunya tinggal menunggu waktu.