Apa itu Neural Engine Apple dan Bagaimana Cara Kerjanya?

iPhone, iPad, Mac, dan Apple TV Anda menggunakan unit pemrosesan saraf khusus yang disebut Apple Neural Engine (ANE) yang jauh lebih cepat dan lebih hemat energi daripada CPU atau GPU.

ANE memungkinkan fitur lanjutan pada perangkat seperti pemrosesan bahasa alami dan analisis gambar tanpa masuk ke cloud atau menggunakan daya berlebihan.

Mari jelajahi cara kerja ANE dan evolusinya, termasuk inferensi dan kecerdasan yang didukungnya di seluruh platform Apple dan bagaimana pengembang dapat menggunakannya di aplikasi pihak ketiga.

Apa itu Mesin Neural Apple (ANE)?

Apple Neural Engine adalah nama pemasaran untuk sekelompok inti komputasi yang sangat terspesialisasi yang dioptimalkan untuk eksekusi jaringan saraf dalam yang hemat energi pada perangkat Apple. Ini mempercepat algoritme pembelajaran mesin (ML) dan kecerdasan buatan (AI), menawarkan keunggulan kecepatan, memori, dan daya yang luar biasa dibandingkan CPU atau GPU utama.

ANE adalah bagian besar mengapa iPhone, iPad, Mac, dan Apple TV terbaru responsif dan tidak menjadi panas selama komputasi ML dan AI yang berat. Sayangnya, tidak semua perangkat Apple memiliki ANE—Apple Watch, Mac berbasis Intel, dan perangkat yang lebih lama dari 2016 tidak memilikinya.

ANE pertama yang memulai debutnya dalam chip A11 Apple pada iPhone X tahun 2017 cukup kuat untuk mendukung ID Wajah dan Animoji. Sebagai perbandingan, ANE terbaru dalam chip A15 Bionic 26 kali lebih cepat dari versi pertama. Saat ini, ANE mengaktifkan fitur seperti Siri offline, dan pengembang dapat menggunakannya untuk menjalankan model ML yang telah dilatih sebelumnya, membebaskan CPU dan GPU untuk fokus pada tugas yang lebih sesuai untuk mereka.

Bagaimana Cara Kerja Neural Engine Apple?

ANE menyediakan kontrol dan logika aritmatika yang dioptimalkan untuk melakukan operasi komputasi yang ekstensif seperti perkalian dan akumulasi, umumnya digunakan dalam algoritme ML dan AI seperti klasifikasi gambar, analisis media, terjemahan mesin, dan lagi.

Berdasarkan paten Apple berjudul "Mesin Planar Multi-Mode untuk Prosesor Neural", ANE terdiri dari beberapa inti mesin neural dan satu atau lebih sirkuit planar multi-mode.

Desainnya dioptimalkan untuk komputasi paralel, di mana banyak operasi, seperti perkalian matriks yang berjalan dalam triliunan iterasi, harus dilakukan secara bersamaan.

Untuk mempercepat inferensi dalam algoritme AI, ANE menggunakan model prediktif. Selain itu, ANE memiliki cache sendiri dan hanya mendukung beberapa tipe data, yang membantu memaksimalkan kinerja.

Fitur AI Didukung oleh ANE

Berikut adalah beberapa fitur pada perangkat yang mungkin sudah Anda kenal yang dimungkinkan oleh ANE.

• Pemrosesan bahasa alami: Pengenalan suara yang lebih cepat dan andal untuk Dikte dan Siri; Peningkatan pembelajaran bahasa alami di aplikasi Terjemahan dan di seluruh sistem; Terjemahan teks instan di Foto, Kamera, dan aplikasi iPhone lainnya.
• Visi komputer: Menemukan objek dalam gambar seperti bangunan terkenal, hewan peliharaan, tanaman, buku, dan bunga menggunakan aplikasi Foto atau pencarian Spotlight; Mendapatkan informasi tambahan tentang objek yang dikenali menggunakan Visual Look Up di tempat-tempat seperti Safari, Mail, dan Pesan.
• Realitas yang diperbesar: Oklusi orang dan pelacakan gerak di aplikasi AR.
• Analisis video: Deteksi wajah dan objek pada video di aplikasi seperti Final Cut Pro.
• Efek kamera: Pemangkasan otomatis dengan Center Stage; Latar belakang kabur selama panggilan video FaceTime.
• permainan: Efek fotorealistik dalam video game 3D.
• Teks Langsung: Memberikan pengenalan karakter optik (OCR) di Kamera dan Foto, memungkinkan Anda menyalin tulisan tangan atau teks dengan mudah seperti kata sandi Wi-Fi atau alamat dari gambar.
• fotografi komputasi: Deep Fusion menganalisis piksel untuk pengurangan noise yang lebih baik, rentang dinamis yang lebih besar, dan peningkatan eksposur otomatis dan white balance, memanfaatkan Smart HDR jika sesuai; Fotografi depth-of-field yang dangkal, termasuk mengambil potret Mode Malam; Menyesuaikan tingkat keburaman latar belakang dengan Depth Control.
• Informasi: ANE juga digunakan untuk Gaya Fotografi di aplikasi Kamera, kurasi Kenangan, dan efek gaya di Foto, rekomendasi yang dipersonalisasi seperti saran wallpaper, teks gambar VoiceOver, menemukan duplikat gambar Foto, dll.

Beberapa fitur yang disebutkan di atas, seperti pengenalan gambar, juga berfungsi tanpa kehadiran ANE tetapi akan bekerja lebih lambat dan membebani baterai perangkat Anda.

Sejarah Singkat Apple Neural Engine: Dari iPhone X hingga M2 Mac

Pada tahun 2017, Apple menerapkan ANE pertamanya dalam bentuk dua inti khusus di dalam chip A11 iPhone X. Dengan standar saat ini, itu relatif lambat, hanya 600 miliar operasi per detik.

ANE generasi kedua muncul di dalam chip A12 pada tahun 2018, menggunakan inti empat kali lipat. Dinilai lima triliun operasi per detik, ANE ini hampir sembilan kali lebih cepat dan menggunakan sepersepuluh kekuatan pendahulunya.

Chip A13 2019 memiliki ANE delapan-inti yang sama tetapi bekerja seperlima lebih cepat dengan menggunakan daya 15% lebih sedikit, produk dari simpul semikonduktor 7nm TSMC yang ditingkatkan. TSMC (Taiwan Semiconductor Manufacturing Company) membuat chip rancangan Apple.

Evolusi Mesin Neural Apple

Tahun berikutnya, kinerja ANE Apple hampir dua kali lipat menjadi 11 triliun operasi per detik, dicapai dengan meningkatkan jumlah inti ANE dari 8 menjadi 16. Pada tahun 2021, A15 Bionic mendapat manfaat dari proses 5nm generasi kedua TSMC, yang selanjutnya meningkatkan kinerja ANE menjadi 15,8 triliun operasi per detik tanpa menambahkan lebih banyak inti.

Chip M1, M1 Pro, dan M1 Max terikat Mac pertama memiliki ANE yang sama dengan A14, menghadirkan ML dan AI yang dipercepat perangkat keras ke platform macOS untuk pertama kalinya.

Pada tahun 2022, M1 Ultra menggabungkan dua chip M1 Max dalam satu paket menggunakan interkoneksi khusus Apple yang disebut UltraFusion. Dengan dua kali inti ANE (32), M1 Ultra menggandakan kinerja ANE menjadi 22 triliun operasi per detik.

Apple A16 pada tahun 2022 dibuat menggunakan simpul N4 TSMC yang ditingkatkan, menghasilkan kinerja ANE sekitar 8% lebih cepat (17 triliun operasi per detik) dibandingkan ANE A15.

IPad yang mendukung ANE pertama adalah iPad mini generasi kelima (2019), iPad Air generasi ketiga (2019), dan iPad generasi kedelapan (2020). Semua iPad yang dirilis sejak itu memiliki ANE.

Bagaimana Cara Pengembang Menggunakan ANE di Aplikasi?

Banyak aplikasi pihak ketiga menggunakan ANE untuk fitur yang tidak layak. Misalnya, editor gambar Pixelmator Pro menyediakan alat seperti ML Super Resolution dan ML Enhance. Dan di djay Pro, ANE memisahkan ketukan, instrumental, dan trek vokal dari sebuah rekaman.

Namun, pengembang pihak ketiga tidak mendapatkan akses tingkat rendah ke ANE. Sebagai gantinya, semua panggilan ANE harus melalui kerangka perangkat lunak Apple untuk pembelajaran mesin, Core ML. Dengan Core ML, developer dapat membangun, melatih, dan menjalankan model ML mereka langsung di perangkat. Model seperti itu kemudian digunakan untuk membuat prediksi berdasarkan data input baru.

"Setelah model ada di perangkat pengguna, Anda dapat menggunakan Core ML untuk melatih ulang atau menyempurnakannya di perangkat, dengan data pengguna tersebut," menurut ikhtisar Core ML di situs web apel.

Untuk mempercepat algoritme ML dan AI, Core ML tidak hanya memanfaatkan ANE tetapi juga CPU dan GPU. Hal ini memungkinkan Core ML menjalankan model meskipun tidak ada ANE yang tersedia. Namun dengan hadirnya ANE, Core ML akan berjalan lebih cepat, dan baterai tidak akan terkuras dengan cepat.

Banyak Fitur Apple Tidak Akan Berfungsi Tanpa ANE

Banyak fitur pada perangkat tidak akan mungkin terjadi tanpa pemrosesan cepat algoritme AI dan ML serta meminimalkan jejak memori dan konsumsi daya yang dihadirkan ANE. Keajaiban Apple adalah memiliki koprosesor khusus untuk menjalankan jaringan saraf secara pribadi di perangkat alih-alih memindahkan tugas tersebut ke server di cloud.

Dengan ANE, Apple dan pengembang dapat mengimplementasikan jaringan saraf yang dalam dan mendapatkan keuntungan dari akselerasi pembelajaran mesin untuk berbagai model prediktif seperti terjemahan mesin, deteksi objek, klasifikasi gambar, dll.