LangChain LLM adalah perbincangan hangat di kota ini. Dapatkan ikhtisar tentang apa itu dan bagaimana Anda bisa memulainya.

Dengan diperkenalkannya model bahasa besar (LLM), Pemrosesan Bahasa Alami telah menjadi pembicaraan di internet. Aplikasi baru sedang dikembangkan setiap hari karena LLM seperti ChatGPT dan LangChain.

LangChain adalah kerangka kerja Python sumber terbuka yang memungkinkan pengembang mengembangkan aplikasi yang didukung oleh model bahasa besar. Aplikasinya adalah chatbots, summarization, tanya jawab generatif, dan banyak lagi.

Artikel ini akan memberikan pengantar tentang LangChain LLM. Ini akan mencakup konsep dasar, bagaimana perbandingannya dengan model bahasa lain, dan bagaimana memulainya.

Memahami LLM LangChain

Sebelum menjelaskan cara kerja LangChain, pertama-tama Anda perlu memahami seberapa besar model bahasa bekerja. Model bahasa besar adalah jenis kecerdasan buatan (AI) yang menggunakan pembelajaran mendalam untuk melatih model pembelajaran mesin pada data besar yang terdiri dari data tekstual, numerik, dan kode.

instagram viewer

Sejumlah besar data memungkinkan model untuk mempelajari pola dan hubungan yang ada antara kata, gambar, dan simbol. Fitur ini memungkinkan model untuk melakukan serangkaian tugas, seperti:

  • Pembuatan teks, penerjemahan bahasa, penulisan konten kreatif, teknis, dan akademik, serta menjawab pertanyaan yang akurat dan relevan.
  • Deteksi objek dalam gambar.
  • Ringkasan buku, artikel, dan makalah penelitian.

Keterbatasan LLM yang paling signifikan adalah bahwa modelnya sangat umum. Fitur ini berarti bahwa terlepas dari kemampuan mereka untuk melakukan beberapa tugas secara efektif, terkadang mereka menyediakannya jawaban umum atas pertanyaan atau petunjuk yang membutuhkan keahlian dan pengetahuan domain yang mendalam, bukan spesifik jawaban.

Dikembangkan oleh Harrison Chase pada akhir 2022, kerangka kerja LangChain menawarkan pendekatan inovatif untuk LLM. Proses dimulai dengan preprocessing teks dataset dengan memecahnya menjadi bagian-bagian yang lebih kecil atau ringkasan. Ringkasan tersebut kemudian disematkan dalam ruang vektor. Model menerima pertanyaan, mencari ringkasan, dan memberikan respons yang sesuai.

Metode prapemrosesan LangChain adalah fitur penting yang tidak dapat dihindari karena LLM menjadi lebih kuat dan padat data. Metode ini terutama digunakan dalam kasus pencarian kode dan semantik karena menyediakan pengumpulan dan interaksi waktu nyata dengan LLM.

LangChain LLM vs. Model Bahasa Lainnya

Tinjauan komparatif berikut bertujuan untuk menyoroti fitur dan kemampuan unik yang membedakan LangChain LLM dari model bahasa lain yang ada di pasar:

  • Penyimpanan: Beberapa LLM memiliki memori pendek, yang biasanya mengakibatkan hilangnya konteks jika permintaan melebihi batas memori. LangChain, bagaimanapun, memberikan permintaan dan tanggapan obrolan sebelumnya, memecahkan masalah batas memori. Riwayat pesan memungkinkan pengguna mengulangi pesan sebelumnya ke LLM untuk merekap konteks sebelumnya.
  • Peralihan LLM: Dibandingkan dengan LLM lain yang mengunci perangkat lunak Anda dengan API model tunggal, LangChain menyediakan abstraksi yang menyederhanakan peralihan LLM atau mengintegrasikan beberapa LLM ke dalam aplikasi Anda. Ini berguna ketika Anda ingin meningkatkan kemampuan perangkat lunak Anda menggunakan model yang ringkas, seperti StableLM AI dari Stability AI dari GPT-3.5 OpenAI.
  • Integrasi: Mengintegrasikan LangChain ke dalam aplikasi Anda mudah dibandingkan dengan LLM lainnya. Ini menyediakan alur kerja pipa melalui rantai Dan agen, memungkinkan Anda memasukkan LangChain dengan cepat ke dalam aplikasi Anda. Dalam hal jaringan pipa linier, rantai adalah objek yang pada dasarnya menghubungkan banyak bagian. Agen lebih canggih, memungkinkan Anda memilih bagaimana komponen harus berinteraksi menggunakan logika bisnis. Misalnya, Anda mungkin ingin menggunakan logika kondisional untuk menentukan tindakan selanjutnya berdasarkan hasil LLM.
  • Penyampaian Data: Karena sifat LLM berbasis teks umum, biasanya sulit untuk meneruskan data ke model. LangChain memecahkan masalah ini dengan menggunakan indeks. Indeks memungkinkan aplikasi mengimpor data dalam format variabel dan menyimpannya dengan cara yang memungkinkan untuk menyajikannya baris demi baris ke LLM.
  • Tanggapan: LangChain menyediakan alat pengurai keluaran untuk memberikan jawaban dalam format yang sesuai dibandingkan dengan LLM lain yang respons modelnya terdiri dari teks umum. Saat menggunakan AI dalam aplikasi, lebih disukai memiliki respons terstruktur yang dapat Anda programkan.

Memulai Dengan LangChain LLM

Sekarang Anda akan belajar bagaimana mengimplementasikan LangChain dalam skenario kasus penggunaan nyata untuk memahami cara kerjanya. Sebelum memulai pengembangan, Anda perlu menyiapkan lingkungan pengembangan.

Menyiapkan Lingkungan Pengembangan Anda

Pertama, membuat lingkungan virtual dan instal dependensi di bawah ini:

  • OpenAI: Untuk mengintegrasikan GPT-3 API ke dalam aplikasi Anda.
  • LangChain: Untuk mengintegrasikan LangChain ke dalam aplikasi Anda.

Menggunakan pip, jalankan perintah di bawah ini untuk menginstal dependensi:

 pipenv instal langchain openai

Perintah di atas menginstal paket dan membuat lingkungan virtual.

Impor Ketergantungan yang Diinstal

Pertama, impor kelas yang diperlukan seperti Rantai LLM, OpenAI, Rantai Percakapan, Dan PromptTemplate dari langchain kemasan.

dari langchain impor Rantai Percakapan, OpenAI, PromptTemplate, LLMChain
dari langchain.memori impor ConversationBufferWindowMemory

Kelas LangChain menguraikan dan menjalankan rantai model bahasa.

Akses Kunci API OpenAI

Selanjutnya, dapatkan kunci OpenAI API. Untuk mengakses kunci API OpenAI, Anda harus memiliki akun OpenAI, lalu pindah ke Platform OpenAI API.

Di dasbor, klik ikon Profil. Kemudian, klik Lihat kunci API tombol.

Selanjutnya, klik Buat kunci rahasia baru tombol untuk mendapatkan kunci API baru.

Masukkan nama kunci API yang diminta.

Anda akan menerima a kunci rahasia mengingatkan.

Salin dan simpan kunci API di tempat yang aman untuk digunakan di masa mendatang.

Mengembangkan Aplikasi Menggunakan LangChain LLM

Anda sekarang akan melanjutkan untuk mengembangkan aplikasi obrolan sederhana sebagai berikut:

# Sesuaikan template LLM 
templat = Asisten adalah model bahasa besar yang dilatih oleh OpenAI.
{sejarah}
Manusia: {human_input}
Asisten:
prompt = PromptTemplate (input_variables=["sejarah", "masukan_manusia"], templat=templat)

Selanjutnya, Anda akan memuat rantai ChatGPT menggunakan kunci API yang Anda simpan sebelumnya.

chatgpt_chain = LLMChain(
 llm=OpenAI(openai_api_key="OPENAI_API_KEY", suhu =0),
 prompt = prompt,
 bertele-tele=BENAR,
 memori=ConversationBufferWindowMemory (k=2),
 )
# Prediksi kalimat menggunakan rantai chatgpt
keluaran = chatgpt_chain.predict(
 masukan_manusia="Apa itu MakeUseOf?"
 )
# Tampilkan respons model
cetak (keluaran)

Kode ini memuat rantai LLM dengan kunci OpenAI API dan template prompt. Input pengguna kemudian diberikan, dan outputnya ditampilkan.

Di atas adalah output yang diharapkan.

Meningkatnya Pengaruh LLM

Konsumsi LLM berkembang pesat dan mengubah cara manusia berinteraksi dengan mesin pengetahuan. Kerangka kerja seperti LangChain berada di garis depan dalam menyediakan pengembang dengan cara yang mulus dan sederhana untuk melayani LLM ke aplikasi. Model AI generatif seperti ChatGPT, Bard, dan Hugging Face juga tidak ketinggalan dalam memajukan aplikasi LLM.