NVIDIA membuat pengumuman besar di konferensi Supercomputing 2024, dengan memperkenalkan anggota baru keluarga Hopper: GPU PCIe NVIDIA H200 NVL. Inovasi terbaru ini dirancang khusus untuk pusat data yang mengutamakan solusi berpendingin udara berdaya rendah dan memerlukan konfigurasi fleksibel untuk menangani berbagai beban kerja AI dan HPC. Dirancang agar pas dengan rak perusahaan yang ada, H200 NVL menyediakan solusi terukur yang dapat mengakomodasi satu hingga delapan GPU, tergantung pada kebutuhan komputasi Anda.

Perusahaan menekankan bahwa GPU H200 NVL tidak hanya mampu mempercepat aplikasi AI dan HPC, tetapi juga lebih hemat energi dengan mengurangi konsumsi daya. Dengan peningkatan seperti memori 1,5x dan bandwidth 1,2x dibandingkan pendahulunya, H100 NVL, H200 NVL secara signifikan mempercepat tugas-tugas seperti penyempurnaan model bahasa besar dan peningkatan kinerja inferensi. Untuk beban kerja HPC, GPU baru ini memberikan kinerja yang lebih baik daripada H100 NVL dan arsitektur NVIDIA Ampere generasi sebelumnya.

H200 NVL dari NVIDIA juga diuntungkan dari integrasi teknologi NVLink terbaru, yang memungkinkan komunikasi GPU-ke-GPU 7x lebih cepat daripada generasi PCIe sebelumnya. Peningkatan ini penting untuk aplikasi yang menuntut dalam HPC dan AI, seperti inferensi dan penyempurnaan model bahasa yang besar. Selain itu, H200 NVL dilengkapi dengan langganan NVIDIA AI Enterprise selama lima tahun, platform perangkat lunak komprehensif yang mendukung pengembangan dan penerapan aplikasi AI, termasuk inferensi model AI yang aman, andal, dan berkinerja tinggi dengan layanan mikro NVIDIA NIM.

Dampak H200 NVL sudah terasa di berbagai industri, dengan berbagai bisnis memanfaatkan kemampuannya untuk berbagai aplikasi mulai dari agen AI layanan pelanggan hingga pencitraan medis. Misalnya, Dropbox tengah mempertimbangkan H200 NVL untuk mendukung layanan manajemen kontennya, dan University of New Mexico berencana menggunakan GPU untuk mempercepat berbagai inisiatif penelitian. H200 NVL akan tersedia dalam berbagai konfigurasi dari berbagai perusahaan teknologi terkemuka, dan NVIDIA juga tengah mengembangkan arsitektur referensi perusahaan untuk membantu mitra dan pelanggan membangun infrastruktur AI berperforma tinggi menggunakan H200 NVL. Teknologi baru ini akan dipamerkan di SC24 dan dibahas lebih lanjut dalam acara khusus NVIDIA.