Apa Itu Pembelajaran Zero Shot dan Bagaimana Cara Meningkatkan AI

Poin Penting

• Generalisasi sangat penting dalam pembelajaran mendalam untuk memastikan prediksi yang akurat dengan data baru. Pembelajaran zero-shot membantu mencapai hal ini dengan memungkinkan AI menggunakan pengetahuan yang ada untuk membuat prediksi akurat pada kelas baru atau yang belum terlihat tanpa data berlabel.
• Pembelajaran zero-shot meniru cara manusia mempelajari dan memproses data. Dengan memberikan informasi semantik tambahan, model yang telah dilatih sebelumnya dapat mengidentifikasi kelas-kelas baru secara akurat, sama seperti manusia dapat belajar mengidentifikasi gitar berongga dengan memahami karakteristiknya.
• Pembelajaran zero-shot meningkatkan AI dengan meningkatkan generalisasi, skalabilitas, mengurangi overfitting, dan hemat biaya. Hal ini memungkinkan model untuk dilatih pada kumpulan data yang lebih besar, memperoleh lebih banyak pengetahuan melalui pembelajaran transfer, memiliki pemahaman kontekstual yang lebih baik, dan mengurangi kebutuhan akan data berlabel yang ekstensif. Seiring dengan kemajuan AI, pembelajaran zero-shot akan menjadi semakin penting dalam mengatasi tantangan kompleks di berbagai bidang.
  instagram viewer

Salah satu tujuan terbesar pembelajaran mendalam adalah untuk melatih model yang telah memperoleh pengetahuan umum. Generalisasi sangat penting karena memastikan model telah mempelajari pola yang bermakna dan dapat membuat prediksi atau keputusan yang akurat ketika dihadapkan pada data baru atau data yang belum terlihat. Melatih model seperti itu sering kali memerlukan sejumlah besar data berlabel. Namun, data tersebut mungkin mahal, padat karya, dan terkadang tidak mungkin dilakukan.

Pembelajaran zero-shot diterapkan untuk menjembatani kesenjangan ini, memungkinkan AI menggunakan pengetahuan yang ada untuk membuat prediksi yang cukup akurat meskipun data yang diberi label kurang.

Apa Itu Pembelajaran Zero-Shot?

Pembelajaran zero-shot adalah jenis teknik pembelajaran transfer yang spesifik. Ini berfokus pada penggunaan model terlatih untuk mengidentifikasi kelas baru atau yang belum pernah dilihat sebelumnya hanya dengan memberikan informasi tambahan yang menjelaskan rincian kelas baru tersebut.

Dengan menggunakan pengetahuan umum model tentang topik-topik tertentu dan memberinya semantik tambahan tentang apa yang harus dicari, model tersebut seharusnya mampu menunjukkan dengan cukup akurat subjek apa yang ditugaskan untuk diidentifikasi.

Katakanlah kita perlu mengidentifikasi seekor zebra. Namun, kami tidak memiliki model yang dapat mengidentifikasi hewan tersebut. Jadi, kami melatih model yang sudah ada untuk mengidentifikasi kuda dan memberi tahu model tersebut bahwa kuda dengan garis hitam putih adalah zebra. Saat kita mulai menyimpulkan model dengan memberikan gambar zebra dan kuda, ada kemungkinan besar model tersebut akan mengidentifikasi setiap hewan dengan benar.

Seperti banyak teknik pembelajaran mendalam, pembelajaran zero-shot meniru cara manusia belajar dan memproses data. Manusia dikenal sebagai pembelajar yang alami. Jika Anda ditugasi mencari gitar berongga di toko musik, Anda mungkin kesulitan mencarinya. Namun begitu saya beri tahu Anda bahwa bodi berongga pada dasarnya adalah gitar dengan lubang berbentuk f di salah satu atau kedua sisinya, Anda mungkin akan segera menemukannya.

Untuk contoh nyata, mari kita gunakan aplikasi klasifikasi zero-shot situs hosting LLM sumber terbuka Hugging Face menggunakan model clip-vit-large.

Foto ini menggambarkan gambar roti di dalam tas belanjaan yang diikatkan di kursi tinggi. Karena model dilatih menggunakan kumpulan data gambar yang besar, model tersebut kemungkinan dapat mengidentifikasi setiap item di foto, seperti roti, bahan makanan, kursi, dan sabuk pengaman.

Sekarang, kami ingin model mengklasifikasikan gambar menggunakan kelas yang sebelumnya tidak terlihat. Dalam hal ini, kelas baru atau kelas yang tidak terlihat adalah "Roti Santai", "Roti Aman", "Roti Duduk", "Toko Berkendara", dan "Toko Bahan Makanan Aman".

Perhatikan bahwa kami sengaja menggunakan kelas dan gambar tak terlihat yang tidak biasa untuk menunjukkan efektivitas klasifikasi zero-shot pada gambar.

Setelah menyimpulkan model, model dapat mengklasifikasikan dengan kepastian sekitar 80% bahwa klasifikasi yang paling tepat untuk gambarnya adalah "Roti Aman." Hal ini mungkin terjadi karena model menganggap kursi makan bayi lebih untuk keselamatan daripada duduk, bersantai, atau menyetir.

Luar biasa! Saya pribadi setuju dengan keluaran model. Namun bagaimana tepatnya model tersebut menghasilkan keluaran seperti itu? Berikut gambaran umum tentang cara kerja pembelajaran zero-shot.

Cara Kerja Pembelajaran Zero-Shot

Pembelajaran zero-shot dapat membantu model terlatih mengidentifikasi kelas baru tanpa memberikan data berlabel. Dalam bentuknya yang paling sederhana, pembelajaran zero-shot dilakukan dalam tiga langkah:

1. Persiapan

Pembelajaran zero-shot dimulai dengan menyiapkan tiga jenis data

• Kelas yang Terlihat: Data yang digunakan dalam melatih model terlatih. Model sudah menyediakan kelas yang terlihat. Model terbaik untuk pembelajaran zero-shot adalah model yang dilatih pada kelas-kelas yang terkait erat dengan kelas baru yang Anda ingin model tersebut identifikasi.
• Kelas Tak Terlihat/Novel: Data yang tidak pernah digunakan selama pelatihan model. Anda harus menyusun sendiri data ini karena Anda tidak bisa mendapatkannya dari model.
• Data Semantik/Penolong: Bit data tambahan yang dapat membantu model mengidentifikasi kelas baru. Ini bisa berupa kata, frasa, penyematan kata, atau nama kelas.

2. Pemetaan Semantik

Langkah selanjutnya adalah memetakan fitur-fitur kelas yang tidak terlihat. Hal ini dilakukan dengan membuat penyematan kata dan membuat peta semantik yang menghubungkan atribut atau karakteristik kelas gaib dengan data tambahan yang disediakan. Pembelajaran transfer AI membuat prosesnya lebih cepat, karena banyak atribut yang terkait dengan kelas tak terlihat telah dipetakan.

3. Kesimpulan

Inferensi adalah penggunaan model untuk menghasilkan prediksi atau keluaran. Dalam klasifikasi gambar zero-shot, penyematan kata dihasilkan pada masukan gambar tertentu dan kemudian diplot dan dibandingkan dengan data tambahan. Tingkat kepastiannya akan tergantung pada kesamaan antara data masukan dan data tambahan yang diberikan.

Bagaimana Pembelajaran Zero-Shot Meningkatkan AI

Pembelajaran zero-shot meningkatkan model AI dengan mengatasi beberapa tantangan dalam pembelajaran mesin, termasuk:

• Generalisasi yang Ditingkatkan: Mengurangi ketergantungan pada data berlabel memungkinkan model dilatih dalam kumpulan data yang lebih besar, meningkatkan generalisasi, dan menjadikan model lebih kuat dan andal. Ketika model menjadi lebih berpengalaman dan digeneralisasikan, bahkan mungkin bagi model untuk mempelajari akal sehat daripada cara biasa menganalisis informasi.
• Skalabilitas: Model dapat terus dilatih dan memperoleh lebih banyak pengetahuan melalui pembelajaran transfer. Perusahaan dan peneliti independen dapat terus meningkatkan model mereka agar lebih mumpuni di masa depan.
• Mengurangi Kemungkinan Overfitting: Overfitting dapat terjadi karena model dilatih pada kumpulan data kecil yang tidak berisi cukup variasi untuk mewakili semua kemungkinan masukan. Melatih model melalui pembelajaran zero-shot mengurangi kemungkinan terjadinya overfitting dengan melatih model agar memiliki pemahaman kontekstual subjek yang lebih baik.
• Hemat Biaya: Menyediakan data berlabel dalam jumlah besar memerlukan waktu dan sumber daya. Dengan menggunakan pembelajaran zero-shot transfer, pelatihan model yang kuat dapat dilakukan dengan waktu dan data berlabel yang jauh lebih sedikit.

Seiring kemajuan AI, teknik seperti pembelajaran zero-shot akan menjadi semakin penting.

Masa Depan Pembelajaran Zero-Shot

Pembelajaran zero-shot telah menjadi bagian penting dari pembelajaran mesin. Hal ini memungkinkan model untuk mengenali dan mengklasifikasikan kelas baru tanpa pelatihan eksplisit. Dengan kemajuan berkelanjutan dalam arsitektur model, pendekatan berbasis atribut, dan integrasi multimodal, pembelajaran zero-shot dapat mewujudkan hal tersebut secara signifikan membantu membuat model lebih mudah beradaptasi dalam mengatasi tantangan kompleks di bidang robotika, perawatan kesehatan, dan komputer penglihatan.