Sementara OpenAI memimpin pengembangan AI generatif, banyak yang menuduh Google tertinggal. Namun, tidak mau kalah, Google meluncurkan model bahasa besar baru, PaLM 2, pada konferensi Google I/O 2023.
Ditetapkan untuk datang dalam empat ukuran berbeda untuk berbagai aplikasi, LLM baru Google tampaknya sudah memberdayakan beberapa layanan Google, dengan lebih banyak lagi yang akan datang.
Apa itu Palm 2?
Di Google I/O 2023, yang diadakan pada 10 Mei, CEO Google Sunda Pichai mengungkapkan mainan terbaru Google: Palem 2.
Kependekan dari Pathways Language Model 2, LLM Google yang ditingkatkan adalah iterasi kedua dari PaLM, dengan versi pertama diluncurkan pada April 2022. Tidak ingat Palm? Nah, pada saat itu, itu adalah berita besar dan mendapat banyak minat karena kemampuannya untuk berbicara sedikit, menceritakan lelucon dasar, dan sebagainya. Maju cepat enam bulan, dan GPT-3.5 OpenAI meniup semuanya keluar dari air, termasuk Palm.
Dari dulu, OpenAI meluncurkan GPT-4, peningkatan besar-besaran pada GPT-3.5. Namun sementara model yang lebih baru diintegrasikan ke dalam banyak alat, terutama Obrolan AI Bing Microsoft, Google membidik di OpenAI dan GPT-4 dengan PaLM 2 dan berharap LLM yang ditingkatkan dapat menutup apa yang tampak sebagai celah yang signifikan—peluncuran Google Bard bukanlah hal yang menderu-deru kesuksesan.
Pichai mengumumkan bahwa PaLM 2 akan hadir dalam empat ukuran model yang berbeda: Gecko, Otter, Bison, dan Unicorn.
Gecko sangat ringan sehingga dapat bekerja di perangkat seluler dan cukup cepat untuk aplikasi interaktif hebat di perangkat, bahkan saat offline. Keserbagunaan ini berarti PaLM 2 dapat disesuaikan untuk mendukung seluruh kelas produk dengan lebih banyak cara, untuk membantu lebih banyak orang.
Dengan Gecko yang mampu memproses sekitar 20 token per detik—token adalah nilai yang ditetapkan ke kata nyata untuk digunakan oleh model AI generatif—tampaknya akan menjadi pengubah permainan untuk alat AI yang dapat diterapkan di seluler.
Data Pelatihan PaLM 2
Google tidak begitu terbuka dengan data pelatihan PaLM 2, dapat dimengerti karena baru saja dirilis. Tapi milik Google Laporan Palm 2 [PDF] memang mengatakan bahwa mereka ingin PaLM 2 memiliki pemahaman yang lebih dalam tentang matematika, logika, dan sains, dan bahwa sebagian besar korpus pelatihannya berfokus pada topik ini.
Namun, perlu dicatat bahwa PaLM tidak bungkuk. Kapan Google ungkap PaLM, dipastikan bahwa mereka dilatih pada 540 miliar parameter, yang pada saat itu merupakan angka yang sangat besar.
GPT-4 OpenAI diduga menggunakan lebih dari satu triliun parameter, dengan beberapa spekulasi menyebutkan angka tersebut mencapai 1,7 triliun. Ini adalah taruhan yang aman bahwa karena Google ingin PaLM 2 bersaing langsung dengan LLM OpenAI, itu akan menampilkan, paling tidak, angka yang sebanding, jika tidak lebih.
Peningkatan signifikan lainnya untuk PaLM 2 adalah data pelatihan bahasanya. Google telah melatih PaLM 2 dalam lebih dari 100 bahasa untuk memberikan pemahaman yang lebih mendalam dan kontekstual serta meningkatkan kemampuan terjemahannya.
Tapi itu bukan hanya bahasa lisan. Menghubungkan ke permintaan Google untuk PaLM 2 untuk memberikan penalaran ilmiah dan matematis yang lebih baik, LLM memilikinya juga telah dilatih dalam lebih dari 20 bahasa pemrograman, yang membuatnya menjadi aset fenomenal bagi pemrogram.
PaLM 2 Sudah Mendukung Layanan Google—Namun Masih Memerlukan Penyesuaian yang Baik
Tidak akan lama lagi kita bisa mendapatkan Palm 2 dan melihat apa yang bisa dilakukannya. Dengan sedikit keberuntungan, peluncuran aplikasi dan layanan PaLM 2 apa pun akan lebih baik daripada Bard.
Tapi Anda mungkin sudah (secara teknis!) menggunakan PaLM 2. Google mengonfirmasi PaLM 2 sudah diterapkan dan digunakan di 25 produknya, termasuk Android, YouTube, Gmail, Google Docs, Google Slides, Google Sheets, dan banyak lagi.
Namun laporan PaLM 2 juga mengungkapkan bahwa masih ada pekerjaan yang harus dilakukan, khususnya terhadap respons toksik di berbagai bahasa.
Misalnya, ketika secara khusus diberikan petunjuk beracun, PaLM 2 menghasilkan tanggapan beracun lebih dari 30 persen dari waktu. Selain itu, dalam bahasa tertentu—Inggris, Jerman, dan Portugis—PaLM 2 memberikan lebih banyak tanggapan beracun dari 17 persen dari waktu, dengan petunjuk termasuk identitas ras dan agama mendorong angka itu lebih tinggi.
Tidak peduli berapa banyak peneliti mencoba untuk membersihkan data pelatihan LLM, tidak dapat dihindari beberapa akan lolos. Fase selanjutnya adalah melanjutkan pelatihan PaLM 2 untuk mengurangi respons toksik tersebut.
Ini adalah Periode Boom untuk Model Bahasa Besar
OpenAI bukan yang pertama meluncurkan model bahasa besar, tetapi model GPT-3, GPT-3.5, dan GPT-4 tidak diragukan lagi menyalakan kertas sentuh biru pada AI generatif.
PaLM 2 Google memiliki beberapa masalah untuk diselesaikan, tetapi sudah digunakan di beberapa layanan Google menunjukkan kepercayaan perusahaan terhadap LLM terbarunya.