Nvidia membuka pengganti Ampere Hopper dan 80 miliar transistor H100 GPU
Data Centers

Nvidia membuka pengganti Ampere Hopper dan 80 miliar transistor H100 GPU

nvidia-grace-superchip.png

Gambar: Nvidia

Nvidia telah mengumumkan arsitektur barunya untuk beban kerja AI pusat data untuk menggantikan Ampere yang disebut Hopper, setelah pelopor komputasi Grace Hopper.

Produk pertama berdasarkan Hopper akan menjadi H100, yang berisi 80 miliar transistor, dibangun di atas proses 4N TSMC, dan memberikan kinerja tiga hingga enam kali lebih banyak daripada A100 berbasis Ampere. GPU akan mendukung PCIe Gen5, memori NVLink HBM3 generasi keempat, dan memiliki bandwidth memori 3Tbps.

“Dua puluh H100 GPU dapat mempertahankan setara dengan lalu lintas internet di seluruh dunia, memungkinkan pelanggan untuk memberikan sistem rekomendasi tingkat lanjut dan model bahasa besar yang menjalankan inferensi pada data secara real time,” kata Nvidia.

GPU juga akan memiliki teknologi multi-instance generasi kedua, dan dapat mendukung tujuh tenda pada satu GPU. Perusahaan juga mengatakan akan dapat melakukannya dengan aman, berkat dukungan komputasi rahasianya.

Hopper menghadirkan komputasi rahasia ke komputasi yang dipercepat dengan menggunakan kombinasi perangkat keras dan perangkat lunak. Ketika komputasi rahasia diaktifkan atau lingkungan eksekusi tepercaya dibuat melalui mesin virtual rahasia yang mencakup CPU dan GPU secara bersamaan, transfer data antara CPU ke GPU , dan GPU ke GPU dalam sebuah node dienkripsi dan didekripsi pada kecepatan penuh PCIe,” kata direktur senior komputasi pusat data Nvidia, Paresh Kharya.

“H100 juga memiliki firewall perangkat keras yang mengamankan seluruh beban kerja pada GPU H100, dan juga mengisolasinya antara memori dan mesin komputer, sehingga tidak ada orang lain selain pemilik lingkungan eksekusi tepercaya dengan kunci yang dapat menyentuh salah satu data yang dikodekan di dalamnya.

“Desain ini menjamin isolasi VM total dan mencegah akses atau modifikasi oleh entitas yang tidak berwenang termasuk hypervisor, sistem operasi host, atau bahkan siapa pun dengan akses fisik.”

Nvidia mengatakan H100 dapat menangani model monster 105-layer, 530 miliar parameter, Megatron-Turing 530B, dengan throughput hingga 30 kali lebih tinggi. Saat melatih model Mixture of Experts Transformer dengan 395 miliar parameter pada 8.000 GPU, Nvidia mengatakan daripada menggunakan A100 selama tujuh hari, pelatihan pada H100 hanya membutuhkan waktu 20 jam.

Perusahaan akan menggabungkan delapan GPU H100 bersama-sama untuk sistem DGX H100-nya yang akan menghasilkan 32 petaflops pada beban kerja FP8, dan DGX Superpod baru akan menghubungkan hingga 32 node DGX H100 dengan sakelar menggunakan NVLink generasi keempat yang mampu menghasilkan 900GBps.

Bagi mereka dengan anggaran yang lebih sederhana, GPU diatur untuk tersedia dari tersangka cloud biasa.

Ketersediaan untuk H100 akan dimulai pada kuartal ketiga.

Bersamaan dengan H100, Nvidia juga meluncurkan Grace Superchip, berdasarkan sepasang chip Grace yang terhubung menggunakan NVLink-C2C untuk interkoneksi chip-ke-chip. Superchip memiliki 144 inti Arm dalam satu soket, memori LPDDR5x dengan ECC, dan menggunakan daya 500 watt.

Baik Grace Superchip, dan pasangan CPU dan GPU di Grace Hopper Superchip yang diumumkan tahun lalu, akan tersedia pada paruh pertama tahun 2023.

Di tempat lain di GTC, Nvidia mengumumkan sistem otomotif Drive Hyperion 9 akan tersedia di kendaraan produksi 2026, dan mencakup 14 kamera, sembilan radar, tiga lidar, dan 20 sensor ultrasonik untuk mengemudi otomatis dan otonom, dan tiga kamera dan satu radar untuk melihat ke dalam. kendaraan.

Liputan Terkait

Posted By : togel hongkonģ