Fakta Kunci
Ribuan GPU yang bekerja serentak membutuhkan jaringan cepat, hemat energi, dan tangguh. Lambda menggunakan NVIDIA Photonics berupa switch dengan optik terintegrasi untuk menghubungkan rak NVIDIA GB300 NVL72 yang berisi lebih dari 10.000 GPU dalam skala pabrik AI.
Dave Ward, presiden layanan cloud Lambda, menjelaskan bahwa kebutuhan jaringan harus mengikuti pertumbuhan klaster AI. Menurut dia, penggunaan optik terintegrasi dalam penerapan berskala besar menjadi langkah penting untuk membangun infrastruktur AI generasi berikutnya.
Dampak NVIDIA Photonics pada latensi jaringan
“Jaringan harus mengikuti tuntutan klaster AI yang semakin besar,” kata Dave Ward. “Membawa optik terintegrasi ke penerapan berskala ini merupakan langkah penting untuk membangun infrastruktur yang dibutuhkan guna mendukung generasi AI berikutnya.”
Dalam pengujian Lambda, latensi jaringan turun sekitar 4 persen pada skala rak dan hingga sekitar 10 persen pada skala pod. Pada konfigurasi rak, unit yang dapat diskalakan, dan pod, jaringan tetap mempertahankan throughput yang sama seperti optik pluggable konvensional.
Pendinginan dan sumber cahaya yang dapat diganti
NVIDIA Photonics menggabungkan mesin optik dengan paket switch sehingga efisiensi daya dapat meningkat hingga lima kali lipat dan keandalan hingga 15 kali dibandingkan optik pluggable konvensional. Teknologi ini juga menggunakan empat kali lebih sedikit laser, sehingga jumlah komponen yang berpotensi mengalami kegagalan berkurang.
Setiap switch dalam penerapan Lambda memiliki 144 port berkecepatan 800 Gb/s dan menggunakan pendinginan cair untuk mengalirkan panas dari chip switch serta mesin optik. Lambda melaporkan suhu median optik 36 derajat Celsius, dibandingkan 51 derajat Celsius pada optik pluggable konvensional, dengan integritas sinyal yang lebih stabil dalam pengujian.
Konversi sinyal listrik ke optik ditempatkan lebih dekat ke chip switch. Setiap switch memiliki 18 sumber cahaya eksternal yang dapat dilepas. Teknisi dapat mengganti modul sumber cahaya di lapangan ketika laser bermasalah, tanpa mengganti seluruh modul. Pengemasan bersama juga memperpendek jalur listrik dari hitungan inci menjadi milimeter dan menghilangkan kebutuhan chip retimer, sehingga konsumsi daya serta jumlah komponen dalam jalur sinyal ikut berkurang.
Baca berita lain di Teknologi