Dalam diskusi online baru-baru ini, Ilmuwan Utama NVIDIA, Bill Dally, menyoroti perubahan besar dalam penyampaian kinerja komputer di era pasca-Hukum Moore. Ia menekankan bahwa setiap prosesor baru memerlukan inovasi dan pengujian komponen baru yang ketat. Pendekatan ini berbeda dengan generasi sebelumnya, yang mengandalkan fisika chip yang semakin kecil dan cepat. Dally memimpin tim yang terdiri lebih dari 300 orang di NVIDIA Research dan telah berperan penting dalam meningkatkan kinerja GPU tunggal dalam inferensi AI hingga 1.000x lipat selama dekade terakhir. Peningkatan signifikan ini pertama kali dijuluki "Hukum Huang" oleh IEEE Spectrum untuk menghormati pendiri dan CEO NVIDIA Jensen Huang, dan kemudian mendapatkan popularitas melalui kolom di Wall Street Journal. Kemajuan ini merupakan respons terhadap pertumbuhan eksponensial model bahasa berskala besar yang digunakan untuk AI generatif, yang berkembang pesat setiap tahunnya. Daly menguraikan faktor-faktor yang berkontribusi terhadap peningkatan 1.000 kali lipat. Yang paling utama adalah peningkatan 16 kali lipat yang dicapai dengan menyederhanakan representasi angka yang digunakan dalam perhitungan komputer. Arsitektur NVIDIA Hopper terbaru, yang didukung oleh Transformer Engine, menggunakan perpaduan dinamis antara operasi floating point dan integer 8-bit dan 16-bit untuk memenuhi kebutuhan model AI generatif saat ini. Dally juga menjelaskan bagaimana NVLink menghubungkan GPU dalam suatu sistem dan bagaimana jaringan NVIDIA antar sistem meningkatkan kinerja satu GPU sebesar 1.000x. Ia percaya bahwa dinamika baru dalam desain komputer ini memberikan tiga peluang yang paling berharga bagi para insinyur NVIDIA: menjadi bagian dari tim yang sukses, berkolaborasi dengan individu yang cerdas, dan merancang dengan dampak. Dia mengungkapkan keyakinannya dalam menyediakan sesuatu untuk dikerjakan.