ChatGPT adalah chatbot AI pengubah permainan OpenAI yang membuat internet takjub. Terhadap semua tren teknologi yang ada, tidak butuh waktu lama bagi ChatGPT untuk menemukan jalannya ke hampir setiap bidang kehidupan digital kita.
Sangat sedikit inovasi teknologi yang mendapatkan minat sebanyak yang telah dicapai ChatGPT dalam waktu sesingkat itu. Sepertinya tidak pernah kehabisan trik keren—setiap hari, kita belajar tentang hal-hal baru yang menarik yang tidak kita ketahui bisa dilakukannya.
Tetapi bagaimana ChatGPT dapat melakukan hal-hal yang dapat dilakukannya? Bagaimana cara kerja ChatGPT?
Bagaimana ChatGPT Dibangun?
Untuk memahami cara kerja ChatGPT, ada baiknya melihat asal-usulnya dan otak di balik chatbot AI mutakhir.
Pertama, sama ajaibnya dengan ChatGPT, ia dibangun oleh kejeniusan manusia, sama seperti setiap teknologi perangkat lunak berharga di luar sana. OpenAI menciptakan ChatGPT, perusahaan penelitian dan pengembangan AI revolusioner di belakang alat AI canggih lainnya seperti DALL-E, InstructGPT, dan Codex. Kami sebelumnya telah menjawab
beberapa pertanyaan yang mungkin Anda miliki tentang ChatGPT, jadi lihatlah.Sementara ChatGPT menjadi viral menjelang akhir tahun 2022, sebagian besar teknologi dasar yang mendukung ChatGPT telah ada lebih lama, meskipun dengan publisitas yang jauh lebih sedikit. Model ChatGPT dibangun di atas GPT-3 (atau, lebih tepatnya, GPT-3.5). GPT adalah singkatan dari "Generative Pre-trained Transformer 3."
GPT-3 adalah iterasi ketiga dari lini model AI GPT dan didahului oleh GPT-2 dan GPT. Iterasi sebelumnya dari model GPT sama-sama berguna, tetapi GPT-3 dan iterasi GPT-3.5 yang disetel halus jauh lebih bertenaga. Sebagian besar dari apa yang dapat dilakukan ChatGPT adalah karena teknologi GPT-3 yang mendasarinya.
Apa itu GPT?
Jadi kami telah menetapkan bahwa ChatGPT dibangun di atas model GPT generasi ketiga. Tapi apa itu GPT?
Mari kita mulai dengan membongkar akronim dengan cara yang mudah dicerna dan tidak teknis.
- The "Generatif" di GPT mewakili kemampuannya untuk menghasilkan teks bahasa manusia alami.
- "Pra-terlatih" mewakili fakta bahwa model telah dilatih pada beberapa kumpulan data terbatas. Sama seperti Anda membaca buku atau mungkin beberapa buku sebelum diminta menjawab pertanyaan tentangnya.
- "Transformer" mewakili arsitektur pembelajaran mesin dasar yang mendukung GPT.
Sekarang, menggabungkan semuanya, Generative Pre-trained Transformer (GPT) adalah model bahasa yang telah ada dilatih menggunakan data dari internet dengan tujuan menghasilkan teks bahasa manusia ketika disajikan dengan a mengingatkan. Jadi, kami berulang kali mengatakan bahwa GPT dilatih, tetapi bagaimana cara melatihnya?
Bagaimana ChatGPT Dilatih?
ChatGPT sendiri tidak dilatih dari awal. Alih-alih, ini adalah versi GPT-3.5 yang disempurnakan, yang merupakan versi GPT-3 yang disempurnakan. Model GPT-3 dilatih dengan sejumlah besar data yang dikumpulkan dari internet. Pikirkan tentang Wikipedia, Twitter, dan Reddit—itu diberi data dan teks manusia yang diambil dari seluruh penjuru internet.
Jika Anda bertanya-tanya bagaimana cara kerja pelatihan GPT, GPT-3 dilatih menggunakan kombinasi pembelajaran yang diawasi dan Pembelajaran Penguatan melalui Umpan Balik Manusia (RLHF). Pembelajaran yang diawasi adalah tahap di mana model dilatih pada kumpulan data besar teks yang diambil dari internet. Tahap pembelajaran penguatan adalah di mana ia dilatih untuk menghasilkan respons yang lebih baik yang selaras dengan apa yang akan diterima manusia sebagai manusia dan benar.
Pelatihan Dengan Pembelajaran Terbimbing
Untuk lebih memahami bagaimana pembelajaran yang diawasi dan penguatan berlaku untuk ChatGPT, bayangkan sebuah skenario di mana seorang siswa diajari menulis esai oleh seorang guru. Pembelajaran yang diawasi akan setara dengan guru yang memberi siswa ratusan esai untuk dibaca. Tujuannya di sini adalah agar siswa mempelajari bagaimana sebuah esai harus ditulis dengan membiasakan diri dengan nada, kosa kata, dan struktur dari ratusan esai.
Namun, akan ada baik dan buruk di antara ratusan esai itu. Karena siswa dilatih tentang salinan yang baik dan yang buruk, kadang-kadang siswa mungkin menulis esai yang buruk karena siswa juga diberi esai yang buruk di beberapa titik. Ini berarti ketika diminta untuk menulis esai, siswa mungkin menulis salinan yang tidak dapat diterima atau cukup baik untuk guru. Di sinilah pembelajaran penguatan masuk.
Pelatihan Dengan Pembelajaran Penguatan
Setelah guru menetapkan bahwa siswa memahami aturan umum penulisan esai dengan membaca ratusan esai, guru kemudian akan sering memberikan pekerjaan rumah menulis esai kepada siswa. Selanjutnya, guru akan memberikan umpan balik tentang pekerjaan rumah menulis esai, memberi tahu siswa apa yang telah mereka lakukan dengan baik dan apa yang dapat mereka tingkatkan. Siswa menggunakan umpan balik untuk memandu pekerjaan rumah penulisan esai berikutnya, membantu siswa untuk meningkat dari waktu ke waktu.
Ini mirip dengan tahap pembelajaran penguatan pelatihan model GPT. Setelah diberi sejumlah besar teks yang diambil dari internet, model tersebut dapat menjawab pertanyaan. Namun, akurasinya tidak akan cukup baik. Pelatih manusia mengajukan pertanyaan kepada model dan memberikan umpan balik tentang jawaban mana yang lebih tepat untuk setiap pertanyaan.
Model ini menggunakan umpan balik untuk meningkatkan kemampuannya menjawab pertanyaan dengan lebih akurat dan lebih seperti cara manusia merespons. Beginilah cara ChatGPT menghasilkan tanggapan yang terdengar seperti manusia yang koheren, menarik, dan secara umum akurat.
Bagaimana ChatGPT Mampu Menjawab Pertanyaan?
Jadi, Anda mengunjungi situs web ChatGPT dan masuk. Anda meminta ChatGPT: "tulis lagu rap dengan gaya Snoop Dogg." Itu menanggapi dengan lirik lagu rap yang terlihat sangat mirip dengan apa yang akan ditulis Snoop Dogg. Bagaimana ini mungkin?
Nah, "keajaiban" di balik ChatGPT semuanya terkait erat dengan pelatihannya.
Setelah membahas setiap inci buku teks Fisika 101 Anda, ada kemungkinan besar Anda akan dapat menjawab pertanyaan apa pun darinya yang dilontarkan kepada Anda. Mengapa? Karena Anda telah membacanya, dan Anda telah mempelajarinya. Sama halnya dengan ChatGPT—dia belajar. Dan seperti yang ditunjukkan oleh peradaban manusia, dengan pelatihan yang cukup, hampir semua masalah dapat diselesaikan.
Meskipun Anda mungkin dapat mengelola ratusan buku seumur hidup Anda, ChatGPT atau GPT telah menggunakan sebagian besar internet. Itu adalah kekayaan besar informasi. Di sana, di suatu tempat, mungkin ada lirik dari banyak lagu Snoop Dogg. Jadi, tentu saja, ChatGPT pasti sudah mengonsumsinya (ingat, ini sudah dilatih sebelumnya) dan mengenali pola dalam lirik Snoop Dogg. Itu kemudian akan menggunakan "pengetahuan" tentang pola ini untuk "memprediksi" lirik lagu yang mirip dengan apa yang akan ditulis Snoop Dogg.
Penekanannya di sini adalah pada "memprediksi". ChatGPT tidak menjawab pertanyaan dengan cara yang sama seperti manusia. Misalnya saat dihadapkan pada pertanyaan seperti, "Apa ibu kota Portugal?" Anda bisa mengatakan Lisbon dan mengatakannya untuk sebuah "fakta". Namun, ChatGPT tidak menjawab pertanyaan dengan kepastian 100%. Alih-alih, ia mencoba memprediksi jawaban yang tepat dengan mempertimbangkan data yang telah dikonsumsinya dalam kumpulan data pelatihannya.
Pendekatan ChatGPT untuk Menjawab Pertanyaan
Untuk lebih memahami konsep memprediksi respons, bayangkan ChatGPT menjadi detektif yang bertugas memecahkan pembunuhan. Detektif diberikan bukti, tetapi mereka tidak tahu siapa yang melakukan pembunuhan itu dan bagaimana itu terjadi. Namun, dengan bukti yang cukup, detektif dapat "memprediksi" dengan sangat akurat siapa yang bertanggung jawab atas pembunuhan tersebut dan bagaimana kejahatan tersebut dilakukan.
Setelah mengonsumsi data dari internet, ChatGPT membuang data asli dan menyimpan koneksi saraf atau pola yang telah dipelajari dari data tersebut. Koneksi atau pola ini seperti bukti yang dianalisis ChatGPT saat mencoba menanggapi permintaan apa pun.
Jadi, secara teori, ChatGPT seperti detektif yang sangat baik. Itu tidak tahu pasti apa fakta dari sebuah jawaban, tetapi itu mencoba, dengan mengesankan akurasi, untuk memprediksi urutan logis dari teks bahasa manusia yang paling tepat menjawab pertanyaan. Ini adalah bagaimana Anda mendapatkan jawaban atas pertanyaan Anda.
Dan ini juga mengapa beberapa dari jawaban itu terlihat sangat meyakinkan tetapi sangat salah.
ChatGPT: Menjawab Seperti Manusia, Berpikir Seperti Mesin
Detail teknis yang mendasari ChatGPT sangat kompleks. Namun, dari sudut pandang yang belum sempurna, ia bekerja dengan mempelajari dan mereproduksi apa yang telah dipelajarinya saat diminta, seperti yang kita lakukan sebagai manusia.
Saat ChatGPT berkembang melalui penelitian, cara kerjanya mungkin berubah. Namun, prinsip kerjanya yang mendasar akan tetap sama untuk sementara waktu, setidaknya sampai datangnya teknologi baru yang mengganggu.