Kemajuan terbaru dalam teknologi AI telah mengembangkan kemampuan baru dalam toolkit AI RTX yang memungkinkan penggunaan model bahasa skala besar (LLM) secara efisien pada perangkat dengan memori terbatas. Inovasi ini memungkinkan Anda menangani beberapa kasus penggunaan secara bersamaan, seperti asisten terjemahan multibahasa, tanpa harus menghosting beberapa contoh model Anda.

Pengembang kini dapat memanfaatkan Adaptasi Peringkat Rendah (LoRA), sebuah teknik yang memungkinkan penyesuaian satu LLM dengan kebutuhan memori minimal. LoRA bekerja dengan memasang adaptor kecil khusus tugas ke model dasar, yang dapat diperluas untuk mengakomodasi berbagai aplikasi pada perangkat. Pendekatan ini sangat berguna untuk perangkat yang perlu mengelola banyak aplikasi dan tugas secara bersamaan sambil berbagi sumber daya sistem.

TensorRT-LLM NVIDIA, bagian dari toolkit RTX AI, memperkenalkan dukungan multi-LoRA. Ini merupakan peningkatan besar untuk PC dan workstation RTX AI. Fitur ini memungkinkan berbagai kasus penggunaan selama inferensi dan memudahkan pengembang untuk mengimplementasikan fitur AI dalam aplikasi mereka tanpa overhead memori yang signifikan.

Teknologi LoRA sendiri melibatkan penyesuaian sebagian kecil parameter dalam model, yang disebut adaptor LoRA. Adaptor ini disesuaikan, tetapi parameter model utama tetap tidak berubah. Adaptor terlatih diintegrasikan ke dalam model dasar selama inferensi, meminimalkan latensi dan overhead throughput. Metode ini tidak hanya hemat memori, tetapi juga mempertahankan kinerja tinggi bahkan ketika menggunakan model khusus untuk melayani banyak klien.