GPU Nvidia telah berkembang pesat, tidak hanya dalam hal kinerja game tetapi juga dalam aplikasi lain, terutama kecerdasan buatan dan pembelajaran mesin. Dua faktor utama yang bertanggung jawab atas kinerja GPU Nvidia adalah inti CUDA dan Tensor yang ada di hampir setiap GPU Nvidia modern yang dapat Anda beli.
Tapi apa sebenarnya yang dilakukan inti ini, dan jika keduanya digunakan dalam kecerdasan buatan dan aplikasi pembelajaran mesin, apa bedanya?
Apa Itu CUDA Cores, dan Untuk Apa Mereka Digunakan?
CUDA adalah singkatan dari Compute Unified Device Architecture, yang tidak banyak menjelaskan keberadaan mereka di GPU. Inti-inti ini diperkenalkan ke jajaran GPU Nvidia pada arsitektur Maxwell 2014 dan berspesialisasi dalam pemrosesan paralel.
Mereka sangat mirip dengan inti CPU dalam hal fungsinya tetapi lebih baik dalam menangani hal-hal tertentu tugas, termasuk hash kriptografi, mesin fisika, proyek terkait sains data, dan bahkan game perkembangan.
Sementara kita sudah tertutup
bagaimana inti CUDA memengaruhi performa gaming PC Anda, mereka sama membantunya dalam menghitung angka. Meskipun CPU yang paling kuat sekalipun memiliki inti dalam dua digit, GPU Nvidia hadir dengan beberapa ribu inti CUDA yang membuatnya jauh lebih cepat pada beban kerja numerik. Selain itu, karena mereka melakukan kalkulasi ini secara paralel, Anda mendapatkan kecepatan yang jauh lebih cepat dengan inti CUDA.Inti CUDA lebih cepat daripada inti CPU run-of-the-mill dalam hal angka-angka, tetapi itu masih bukan solusi yang ideal. Itu karena mereka tidak pernah dimaksudkan untuk digunakan dengan cara itu. Inti CUDA dibuat khusus untuk pemrosesan grafis dan untuk membuat GPU Nvidia lebih mumpuni dalam kinerja game.
Apa Itu Tensor Cores, dan Apa Kegunaannya?
Saat GPU mulai digunakan untuk kecerdasan buatan dan beban kerja pembelajaran mesin, Nvidia memperkenalkan inti Tensor dalam arsitektur Volta untuk GPU pusat datanya mulai tahun 2017.
Namun, dibutuhkan hingga arsitektur Nvidia Turing (GPU Seri RTX 20) agar inti ini hadir di GPU konsumen. Ingat bahwa sementara kartu GTX 16-Series juga didasarkan pada arsitektur Turing, mereka tidak menyertakan ray tracing atau Tensor core.
Sementara inti CUDA cukup memadai untuk beban kerja komputasi, inti Tensor meningkatkan taruhannya dengan lebih cepat secara signifikan. Sementara inti CUDA hanya dapat melakukan satu operasi per siklus clock, inti Tensor dapat menangani banyak operasi, memberi mereka peningkatan kinerja yang luar biasa. Pada dasarnya, yang dilakukan inti Tensor hanyalah meningkatkan kecepatan penggandaan matriks.
Peningkatan kecepatan komputasi ini memang mengorbankan akurasi, dengan inti CUDA menjadi jauh lebih akurat. Meskipun demikian, dalam hal melatih model pembelajaran mesin, inti Tensor jauh lebih efektif dalam hal kecepatan komputasi dan biaya keseluruhan; karenanya hilangnya akurasi sering diabaikan.
Bagaimana Tensor dan CUDA Core Mempengaruhi Performa GPU?
Seperti yang mungkin sudah bisa Anda tebak sekarang, meskipun inti CUDA dan Tensor dapat menangani beban kerja yang sama, keduanya merupakan inti khusus untuk perenderan grafis dan beban kerja numerik.
Ini berarti tergantung pada pengguna yang menjadi sasaran GPU tertentu, itu akan memiliki jumlah inti yang berbeda. Misalnya, jika kami mempertimbangkan RTX 4090, GPU game konsumen terbaru dan terhebat dari Nvidia, Anda akan mendapatkan lebih banyak inti CUDA daripada inti Tensor. 16.384 inti CUDA hingga 512 inti Tensor, lebih spesifik.
Sebagai perbandingan, GPU Nvidia L40 untuk pusat data, berdasarkan arsitektur Ada Lovelace yang sama dengan RTX 4090, memiliki 18.176 inti CUDA dan 568 inti Tensor. Ini mungkin tidak tampak seperti perbedaan besar, tetapi ini dapat memengaruhi kinerja GPU ini secara besar-besaran.
Dalam hal kinerja teoritis, L40 memiliki kinerja FP16 dan FP32 90,52 TFlops serta kinerja FP64 1.414 GFlops. Ini adalah peningkatan kinerja yang sangat besar dibandingkan dengan kinerja FP16 dan FP32 82,58 TFlops RTX 4090 dan kinerja FP64 1.290 GFlops.
Kecuali jika Anda berpengalaman dengan angka kinerja numerik GPU, angka kinerja floating point GPU Nvidia di atas mungkin tidak terlalu berarti bagi Anda. Namun, singkatnya, mereka menunjukkan bahwa L40 jauh lebih cepat daripada RTX 4090 dalam hal kalkulasi numerik—yang diperlukan untuk beban kerja berbasis kecerdasan buatan dan pembelajaran mesin.
Peningkatan kinerja menjadi semakin mengesankan jika Anda mempertimbangkan konsumsi daya kedua GPU. RTX 4090 memiliki peringkat TGP (jangan bingung dengan TDP, ada sedikit perbedaan) sebesar 450W, sedangkan L40 diberi nilai hanya 300W.
Kedua GPU ini akan menjalankan game dan melatih model pembelajaran mesin Anda dengan baik. Namun, RTX 4090 akan lebih baik dalam menjalankan game, dan L40 akan lebih baik dalam melatih model pembelajaran mesin.
CUDA Core vs. Inti Tensor: Mana yang Lebih Penting?
Kedua inti sama pentingnya, terlepas dari apakah Anda membeli GPU untuk bermain game atau meletakkannya di rak pusat data. GPU game yang menghadap konsumen Nvidia menggunakan banyak fitur AI (terutama DLSS), dan memiliki inti Tensor dapat berguna.
Sedangkan untuk GPU pusat data, inti CUDA dan Tensor sebagian besar bekerja bersama-sama, jadi Anda akan mendapatkan keduanya terlepas dari GPU yang Anda pilih. Alih-alih berfokus pada jenis inti tertentu di GPU Anda, Anda harus lebih fokus pada apa yang dilakukan kartu grafis secara keseluruhan dan jenis pengguna yang ditujukan untuknya.
Inti CUDA berspesialisasi dalam menangani beban kerja grafis, sedangkan inti Tensor lebih baik dalam hal numerik. Mereka bekerja sama dan dapat dipertukarkan sampai taraf tertentu, tetapi mereka menangani spesialisasi mereka sendiri, itulah sebabnya mereka ada sejak awal.
GPU yang berbeda berspesialisasi dalam aspek yang berbeda. RTX 4090 akan dengan mudah menghancurkan game apa pun yang Anda mainkan, sedangkan RTX 4060 hanya dapat menangani game 1080p. Jika Anda tidak bermain game menggunakan GPU dan hanya memerlukannya untuk mengolah angka atau melatih jaringan saraf, GPU pusat data Seri-A seperti A100 atau bahkan L40 adalah taruhan terbaik Anda.
Inti GPU Anda Penting
Lebih banyak inti GPU akan memberi Anda kinerja keseluruhan yang lebih baik karena GPU Anda akan lebih serbaguna dan memiliki sumber daya khusus untuk menangani berbagai tugas. Namun, secara membabi buta mendapatkan GPU dengan jumlah inti tertinggi bukanlah keputusan terbaik. Luangkan waktu sejenak untuk mempertimbangkan kasus penggunaan Anda dengan cermat, lihat kemampuan GPU secara keseluruhan, lalu tentukan pilihan Anda.
