Cara Menjalankan Model Bahasa Besar di Linux (dan Mengapa Anda Harus)

Model bahasa besar memiliki potensi untuk merevolusi cara Anda hidup dan bekerja, dan dapat melakukan percakapan dan menjawab pertanyaan dengan tingkat akurasi yang bervariasi.

Untuk menggunakannya, Anda biasanya memerlukan akun dengan penyedia LLM, dan masuk melalui situs web atau aplikasi khusus. Tapi tahukah Anda bahwa Anda dapat menjalankan model bahasa besar Anda sendiri sepenuhnya offline di Linux?

Mengapa Menjalankan Model Bahasa Besar di Linux?

Model bahasa besar (LLM) ada di mana-mana saat ini dan dapat memproses bahasa alami dan memberikan respons yang sesuai yang dapat membodohi Anda dengan berpikir bahwa manusia telah menjawab. Microsoft meluncurkan versi baru Bing yang didukung AI, sedangkan Alphabet's Bard sekarang menjadi bagian integral dari pencarian Google.

Jauh dari mesin pencari, Anda dapat menggunakan apa yang disebut "AI chatbots" untuk menjawab pertanyaan, menulis puisi, atau bahkan mengerjakan pekerjaan rumah untuk Anda.

Tetapi dengan mengakses LLM secara online, Anda bergantung pada niat baik penyedia pihak ketiga—yang dapat ditarik kapan saja.

Anda juga tunduk pada batasan penggunaan. Minta OpenAI untuk menulis novel erotis 6.000 kata yang berlatarkan Nazi Jerman, misalnya, dan Anda akan mendapat respons seperti "Saya minta maaf, tetapi saya tidak akan dapat membuat cerita itu untuk Anda."

Apa pun yang Anda masukkan ke LLM online digunakan untuk melatih mereka lebih jauh, dan data yang mungkin ingin Anda jaga kerahasiaannya dapat dimuntahkan di masa mendatang sebagai bagian dari tanggapan atas pertanyaan orang lain.

Anda juga mengalami kekurangan layanan karena sistem dibanjiri pengguna, dan diminta untuk berlangganan, sehingga Anda dapat mengakses platform saat permintaan tinggi.

Dalai adalah implementasi gratis dan sumber terbuka dari LLaMa LLM Meta dan Alpaca Stanford. Ini akan berjalan dengan nyaman pada perangkat keras sederhana dan menyediakan antarmuka web yang praktis dan berbagai templat cepat—sehingga Anda dapat menanyakan apa saja Anda mau, tanpa takut admin akan menutup akun Anda, LLM akan menolak untuk menjawab, atau koneksi Anda akan terputus menjatuhkan.

Saat Anda menginstal LLM secara lokal di Linux, itu milik Anda, dan Anda dapat menggunakannya sesuka Anda.

Cara Menginstal Dalai di Linux

Cara termudah untuk menginstal Dalai di Linux adalah dengan menggunakan Docker dan Docker Compose. Jika Anda belum memilikinya, lihat panduan kami tentang caranya instal Docker dan Docker Compose.

Dengan itu, Anda siap untuk mulai menginstal Dalai. Kloning repositori Dalai GitHub dan gunakan perintah cd untuk pindah ke dalamnya:

klon git https://github.com/cocktailpeanut/dalai.git && cd dalai

Untuk mengaktifkan dan menjalankan Dalai dengan antarmuka web, pertama-tama, buat file Docker Compose:

docker-compose build

Docker Compose akan mengunduh dan menginstal Python 3.11, Node Version Manager (NVM), dan Node.js.

Pada tahap tujuh dari sembilan, build akan tampak membeku saat Docker Compose mengunduh Dalai. Jangan khawatir: periksa penggunaan bandwidth Anda untuk meyakinkan diri sendiri bahwa ada sesuatu yang terjadi, dan mensimulasikan evolusi organisme virtual di terminal Anda sementara Anda menunggu.

Akhirnya, Anda akan kembali ke command prompt.

Model Dalai dan LLaMa/Alpaca membutuhkan banyak memori untuk dijalankan. Meskipun tidak ada spesifikasi resmi, panduan kasar yang baik adalah 4GB untuk model 7B, 8GB untuk model 13B, 16GB untuk model 30B, dan 32GB untuk model 65B.

Model Alpaca relatif kecil, dengan model 13B mencapai 7,6GB sederhana, tetapi bobot LLaMA bisa sangat besar: unduhan 13B yang setara tersedia pada 60,21GB, dan model 65B akan menghabiskan setengah terabyte epik di hard disk Anda disk.

Putuskan model mana yang paling cocok untuk sumber daya Anda, dan gunakan perintah berikut untuk menginstalnya:

docker-compose jalankan dalai npx dalai alpaca install 13B

Atau:

docker-compose jalankan dalai npx dalai llama instal 13B

Ada kemungkinan model yang diunduh melalui Dalai rusak. Jika ini masalahnya, ambil dari mereka Wajah Pelukan alih-alih.

Setelah Anda kembali ke prompt perintah, aktifkan Docker Compose dalam mode terpisah:

docker-compose up -d

Periksa apakah wadah berjalan dengan baik dengan:

docker-compose ps

Jika semuanya berfungsi sebagaimana mestinya, buka browser web, dan masuk host lokal: 3000 di bilah alamat.

Bersenang-senang Dengan Model Bahasa Besar Anda Sendiri di Linux

Saat antarmuka web terbuka, Anda akan melihat kotak teks, tempat Anda dapat menulis petunjuknya.

Menulis petunjuk yang efektif itu sulit, dan pengembang Dalai telah membantu menyediakan berbagai template yang akan membantu Anda mendapatkan respons yang berguna dari Dalai.

Ini adalah AI-Dialog, Obrolan, Bawaan, Petunjuk, Menulis kembali, Menerjemahkan, Dan Tweet-sentimen.

Seperti yang Anda harapkan, itu AI-Dialog Dan Obrolan template disusun dengan cara yang memungkinkan Anda melakukan semacam percakapan dengan LLM. Perbedaan utama antara keduanya adalah bahwa chatbot seharusnya "sangat cerdas", sedangkan AI-Dialog "membantu, baik hati, patuh, jujur, dan mengetahui batasannya sendiri".

Tentu saja, ini adalah "AI" Anda, dan jika itu menyenangkan Anda, Anda dapat mengubah prompt sehingga chatbot menjadi bodoh, dan karakteristik dialog AI "sadis" dan "tidak membantu". Terserah kamu.

Kami menguji Menerjemahkan berfungsi dengan menyalin paragraf pembuka berita BBC dan meminta Dalai untuk menerjemahkannya ke dalam bahasa Spanyol. Terjemahannya bagus, dan ketika kami menjalankannya melalui Google Terjemahan untuk mengubahnya kembali ke bahasa Inggris, ternyata cukup mudah dibaca dan menggemakan fakta dan sentimen dari karya aslinya.

Demikian juga, Menulis kembali template memutar teks secara meyakinkan ke dalam pembukaan artikel baru.

Itu Bawaan Dan Petunjuk petunjuknya disusun untuk membantu Anda mengajukan pertanyaan atau menginstruksikan Dalai secara langsung.

Keakuratan respons Dalai akan sangat bervariasi tergantung pada model apa yang Anda gunakan. Model 30B akan jauh lebih berguna daripada model 7B. Namun demikian, Anda diingatkan bahwa LLM hanyalah sistem canggih untuk menebak kata berikutnya dalam sebuah kalimat.

Baik model Alpaca 7B maupun 13B tidak mampu memberikan ringkasan 200 kata yang akurat dari cerita pendek, "Cat in the Rain" oleh Ernest Hemingway, dan keduanya membuat alur cerita yang sangat meyakinkan dan detail tentang apa ceritanya terkandung.

Dan sementara AI-Dialog yang "membantu, baik hati, patuh, jujur" yang "tahu batasnya sendiri", dan Chatbot yang "sangat cerdas" akan menolak keras petunjuk kontroversial, Anda dapat memberi Dalai Instruksi langsung atau permintaan Default, dan itu akan menulis apa pun yang Anda suka—apa pun yang Anda suka dia.

Model Bahasa Besar di Mesin Linux Anda Adalah Milik Anda

Dengan menjalankan model bahasa yang besar pada kotak Linux Anda sendiri, Anda tidak tunduk pada pengawasan atau penarikan layanan. Anda dapat menggunakannya sesuka Anda tanpa takut akan konsekuensi karena melanggar kebijakan konten perusahaan.

Jika sumber daya komputasi Anda sedikit, Anda bahkan dapat menjalankan LLM secara lokal di Raspberry Pi yang sederhana.