Haruskah Anda Menggunakan LLM Lokal? 9 Pro dan Kontra

Sejak hadirnya ChatGPT pada bulan November 2022, istilah model bahasa besar (LLM) dengan cepat beralih dari istilah khusus bagi para kutu buku AI menjadi kata kunci di bibir semua orang. Daya tarik terbesar dari LLM lokal adalah kemampuannya untuk mereplikasi kemampuan chatbot seperti ChatGPT di komputer Anda tanpa beban versi yang dihosting di cloud.

Ada argumen yang mendukung dan menentang pengaturan LLM lokal di komputer Anda. Kami akan menghilangkan hype dan memberi Anda faktanya. Haruskah Anda menggunakan LLM lokal?

Kelebihan Menggunakan LLM Lokal

Mengapa orang begitu bersemangat untuk membuat sendiri model bahasa besar di komputer mereka? Selain sensasi dan hak untuk menyombongkan diri, apa saja manfaat praktisnya?

1. Lebih Sedikit Sensor

Saat ChatGPT dan Bing AI pertama kali online, hal-hal yang ingin dikatakan dan dilakukan oleh kedua chatbot tersebut sama menariknya sekaligus mengkhawatirkan. Bing AI bertingkah hangat dan manis, seolah memiliki emosi. ChatGPT bersedia menggunakan kata-kata makian jika Anda memintanya dengan baik. Pada saat itu, kedua chatbots bahkan akan membantu Anda membuat bom jika Anda menggunakan petunjuk yang tepat. Ini mungkin terdengar salah, tetapi kemampuan melakukan apa pun merupakan simbol dari kemampuan tidak terbatas dari model bahasa yang mendukungnya.

Hari ini, keduanya chatbots telah disensor dengan sangat ketat bahwa mereka bahkan tidak akan membantu Anda menulis novel kriminal fiksi dengan adegan kekerasan. Beberapa chatbot AI bahkan tidak mau berbicara tentang agama atau politik. Meskipun LLM yang dapat Anda atur secara lokal tidak sepenuhnya bebas sensor, banyak dari mereka dengan senang hati akan melakukan hal-hal yang menggugah pikiran yang tidak akan dilakukan oleh chatbot yang berhubungan dengan publik. Jadi, jika Anda tidak ingin robot menguliahi Anda tentang moralitas ketika mendiskusikan topik kepentingan pribadi, menjalankan LLM lokal mungkin merupakan cara yang tepat.

2. Privasi Data yang Lebih Baik

Salah satu alasan utama orang memilih LLM lokal adalah untuk memastikan bahwa apa pun yang terjadi di komputer mereka tetap ada di komputer mereka. Saat Anda menggunakan LLM lokal, ini seperti melakukan percakapan pribadi di ruang tamu Anda—tidak ada orang di luar yang dapat mendengarkannya. Baik Anda bereksperimen dengan detail kartu kredit Anda atau melakukan percakapan pribadi yang sensitif dengan LLM, semua data yang dihasilkan hanya disimpan di komputer Anda. Alternatifnya adalah menggunakan LLM yang berhubungan dengan publik seperti GPT-4, yang memberi perusahaan yang bertanggung jawab akses ke informasi obrolan Anda.

3. Penggunaan Offline

Dengan internet yang terjangkau dan dapat diakses secara luas, akses offline mungkin tampak seperti alasan sepele untuk menggunakan LLM lokal. Akses offline dapat menjadi sangat penting di lokasi terpencil atau terisolasi dimana layanan internet tidak dapat diandalkan atau tidak tersedia. Dalam skenario seperti itu, LLM lokal yang beroperasi secara independen dari koneksi internet menjadi alat yang penting. Ini memungkinkan Anda untuk terus melakukan apa pun yang ingin Anda lakukan tanpa gangguan.

4. Penghematan biaya

Harga rata-rata untuk mengakses LLM yang mumpuni seperti GPT-4 atau Claude 2 adalah $20 per bulan. Meskipun itu mungkin bukan harga yang mengkhawatirkan, Anda masih mendapatkan beberapa batasan yang mengganggu untuk jumlah tersebut. Misalnya, dengan GPT-4, yang diakses melalui ChatGPT, Anda terjebak dengan 50 pesan per batas tiga jam. Anda hanya dapat melewati batas tersebut dengan beralih ke paket ChatGPT Enterprise, yang berpotensi menelan biaya ribuan dolar. Dengan LLM lokal, setelah Anda menyiapkan perangkat lunak, tidak ada langganan bulanan sebesar $20 atau biaya berulang yang harus dibayar. Ini seperti membeli mobil daripada mengandalkan layanan ride-share. Awalnya mahal, tetapi seiring waktu, Anda menghemat uang.

5. Kustomisasi yang Lebih Baik

Chatbot AI yang tersedia untuk umum memiliki penyesuaian terbatas karena masalah keamanan dan sensor. Dengan asisten AI yang dihosting secara lokal, Anda dapat sepenuhnya menyesuaikan model untuk kebutuhan spesifik Anda. Anda dapat melatih asisten tentang data kepemilikan yang disesuaikan dengan kasus penggunaan Anda, sehingga meningkatkan relevansi dan akurasi. Misalnya, seorang pengacara dapat mengoptimalkan AI lokalnya untuk menghasilkan wawasan hukum yang lebih tepat. Manfaat utamanya adalah kontrol atas penyesuaian untuk kebutuhan unik Anda.

Kontra Menggunakan LLM Lokal

Sebelum Anda beralih, ada beberapa kelemahan menggunakan LLM lokal yang harus Anda pertimbangkan.

1. Intensif Sumber Daya

Untuk menjalankan LLM lokal yang berkinerja baik, Anda memerlukan perangkat keras kelas atas. Pikirkan CPU yang kuat, banyak RAM, dan kemungkinan besar GPU khusus. Jangan berharap laptop beranggaran $400 memberikan pengalaman yang baik. Respons akan sangat lambat, terutama pada model AI yang lebih besar. Ini seperti menjalankan video game mutakhir—Anda memerlukan spesifikasi yang kuat untuk performa optimal. Anda bahkan mungkin memerlukan solusi pendinginan khusus. Intinya adalah bahwa LLM lokal memerlukan investasi pada perangkat keras tingkat atas untuk mendapatkan kecepatan dan daya tanggap yang Anda nikmati di LLM berbasis web (atau bahkan meningkatkannya). Tuntutan komputasi di pihak Anda akan signifikan dibandingkan dengan menggunakan layanan berbasis web.

2. Respons Lebih Lambat dan Performa Lebih Rendah

Keterbatasan umum LLM lokal adalah waktu respons yang lebih lambat. Kecepatan pastinya bergantung pada model AI spesifik dan perangkat keras yang digunakan, namun sebagian besar penyiapan tertinggal dibandingkan layanan online. Setelah mendapat tanggapan instan dari ChatGPT, Bard, dan lainnya, LLM lokal bisa merasa sangat lamban. Kata-kata perlahan-lahan keluar dibandingkan dengan cepat kembali. Hal ini tidak berlaku secara universal, karena beberapa penerapan lokal mencapai kinerja yang baik. Namun rata-rata pengguna menghadapi penurunan tajam dalam pengalaman web yang cepat. Jadi, bersiaplah menghadapi "kejutan budaya" dari sistem online yang cepat ke sistem lokal yang lebih lambat.

Singkatnya, kecuali Anda menggunakan pengaturan yang benar-benar terbaik (kita berbicara tentang AMD Ryzen 5800X3D dengan Nvidia RTX 4090 dan cukup RAM untuk menenggelamkan kapal), kinerja keseluruhan LLM lokal Anda tidak akan dibandingkan dengan chatbot AI generatif online yang Anda gunakan biasanya.

3. Pengaturan Kompleks

Menyebarkan LLM lokal lebih rumit daripada sekadar mendaftar ke layanan AI berbasis web. Dengan koneksi internet, akun ChatGPT, Bard, atau Bing AI Anda dapat siap untuk mulai meminta dalam hitungan menit. Menyiapkan tumpukan LLM lokal lengkap memerlukan pengunduhan kerangka kerja, konfigurasi infrastruktur, dan pengintegrasian berbagai komponen. Untuk model yang lebih besar, proses rumit ini bisa memakan waktu berjam-jam, bahkan dengan alat yang bertujuan menyederhanakan pemasangan. Beberapa sistem AI yang mutakhir masih memerlukan keahlian teknis yang mendalam agar dapat dijalankan secara lokal. Jadi, tidak seperti model AI berbasis web plug-and-play, mengelola AI Anda sendiri memerlukan investasi teknis dan waktu yang signifikan.

4. Pengetahuan yang Terbatas

Banyak LLM lokal terjebak di masa lalu. Mereka mempunyai pengetahuan yang terbatas mengenai kejadian-kejadian terkini. Ingatkah saat ChatGPT tidak bisa mengakses internet? Kapan hanya bisa memberikan jawaban atas pertanyaan tentang peristiwa yang terjadi sebelum September 2021? Ya? Mirip dengan model ChatGPT awal, model bahasa yang dihosting secara lokal sering kali hanya dilatih pada data sebelum batas waktu tertentu. Akibatnya, mereka kurang menyadari perkembangan terkini setelah saat itu.