Groq, penyedia solusi AI, mengumumkan peningkatan signifikan dalam kinerja inferensi untuk model bahasa skala besar (LLM), Llama-2 70B. Hanya dalam tiga minggu, perusahaan mampu mencapai kinerja lebih dari dua kali lipat, berjalan pada lebih dari 240 token per detik (T/s) per pengguna pada sistem LPU™. Pencapaian ini terjadi setelah Groq mencapai 100T/s per pengguna untuk pertama kalinya dengan Llama-2 70B, menimbulkan pertanyaan tentang potensi peningkatan kinerja lebih lanjut pada silikon 14nm generasi pertama yang diproduksi di AS.

Pelanggan Groq menerbitkan demo pribadi, membuka dunia baru kemungkinan kasus penggunaan LLM latensi rendah di industri masing-masing. Misalnya, LLM dapat digunakan untuk memantau data tekstual dalam jumlah besar dari forum online dan media sosial untuk mendeteksi potensi serangan siber dan pelanggaran keamanan dengan cepat. Latensi yang sangat rendah pada model-model ini sangat penting untuk analisis dan respons real-time, yang memainkan peran penting dalam melindungi informasi sensitif, infrastruktur penting, dan keamanan nasional.



LLM juga berpotensi merevolusi tanggap darurat lokal saat terjadi bencana alam. Dengan menganalisis data real-time dari media sosial, panggilan darurat, dan prakiraan cuaca, model-model ini mengidentifikasi daerah-daerah yang sangat membutuhkan bantuan, memprediksi ancaman, dan memberikan informasi akurat kepada petugas pertolongan pertama dan masyarakat yang terkena dampak. dapat memberikan bimbingan.