Ada banyak chatbot bertenaga AI yang tersedia, tetapi manakah yang menggunakan LLM terbaik? Inilah cara Anda membandingkan LLM untuk menentukan mana yang terbaik.
Dengan banyaknya chatbot yang tersedia online, akan sangat sulit untuk memilih salah satu yang memenuhi kebutuhan Anda. Meskipun Anda dapat membandingkan dua chatbot mana pun secara manual, hal ini memerlukan banyak waktu dan tenaga.
Cara yang lebih baik dan sederhana adalah dengan menggunakan Chatbot Arena untuk membandingkan berbagai LLM yang mendukung chatbot populer. Ia menawarkan beberapa mode untuk membandingkan berbagai model, yang kami jelaskan di bawah.
Apa itu Arena Chatbot?
Dibuat oleh LMSYS Org, Chatbot Arena adalah platform untuk membandingkan berbagai LLM. Ia menggunakan sistem Elo Rating untuk menentukan peringkat berbagai model.
Chatbot Arena menawarkan beberapa cara bagi pengguna untuk membandingkan dan menilai LLM. Berdasarkan masukan yang dikirimkan, Chatbot Arena memberi peringkat pada LLM yang berbeda di papan peringkat publik. Proyek ini disponsori oleh
HuggingFace, alternatif sumber terbuka untuk ChatGPT.Bagaimana Membandingkan LLM Anonim dengan Chatbot Arena
Mode pertempuran Chatbot Arena memungkinkan Anda membandingkan LLM secara anonim. Misalnya, Anda bisa bandingkan ChatGPT (GPT 3.5) dan Claude. Artinya, Chatbot Arena sendiri yang memilih dua model bahasa dan, tanpa mengungkapkan namanya, memungkinkan Anda membandingkannya.
Saat Anda memasuki perintah pertama, Chatbot Arena mengambil respons dari kedua model, menampilkannya secara berdampingan. Platform ini memungkinkan Anda membuat ulang tanggapan (untuk kedua LLM) dan menghapus riwayat untuk memulai percakapan yang berbeda. Anda dapat terus mengajukan lebih banyak pertanyaan hingga Anda memilih pemenang yang jelas.
Lalu, Anda dapat memilih apakah model A lebih baik atau B. Saat memilih pemenang, Chatbot Arena mengungkapkan nama kedua bot tersebut. Mode ini berfungsi dengan baik karena keputusan Anda tidak dipengaruhi oleh persepsi Anda sebelumnya atau popularitas model. Chatbot Arena juga memungkinkan Anda menyesuaikan parameter seperti suhu, P Teratas, dan token keluaran maksimal.
Bagaimana Membandingkan LLM Terpilih dengan Chatbot Arena
Jika Anda ingin membandingkan dua LLM tertentu, Anda dapat beralih ke mode berdampingan Chatbot Arena. Selain fakta bahwa Anda dapat memilih LLM sendiri, cara kerja mode ini hampir sama dengan mode pertarungan. Anda dapat menyesuaikan parameter, membuat ulang respons, menghapus riwayat, dan pada akhirnya memilih pemenang.
Namun, jumlah LLM yang tersedia dalam mode ini terbatas. Anda dapat memilih versi Llama 2, Vicuna, dan ChatGLM yang berbeda. Meskipun LLM populer, seperti GPT-4, GPT-3.5, Claude 1, Claude 2, dll., saat ini tidak tersedia dalam mode ini, Chatbot Arena berencana untuk menambahkannya.
Bandingkan LLM Menggunakan Chatbot Arena
Baik Anda mencari chatbot yang sesuai dengan kebutuhan Anda atau hanya ingin menguji LLM yang berbeda, Chatbot Arena adalah platform yang hebat.
Ini memberikan cara sederhana untuk membandingkan model bahasa yang berbeda secara berdampingan. Dan karena ia mempertahankan papan peringkat berdasarkan masukan pengguna, Anda dapat langsung melihat peringkat berbagai model tanpa harus menjalankan pengujian sendiri.
