Generatived(Beta)|生成AIの最新ニュースとトレンドを提供
NVIDIA RTX AI が効率的な LLM を実現するマルチ LoRA を導入
Generatived
24/8/29 2:00
AI テクノロジーの最新の進歩により、メモリが限られたデバイス上で大規模言語モデル (LLM) を効率的に使用できるようにする新しい機能が RTX AI ツールキット内に開発されました。このイノベーションにより、モデルの複数のインスタンスをホストする必要なく、多言語翻訳アシスタントなどの複数のユースケースを同時に処理できるようになります。
開発者は、最小限のメモリ要件で単一の LLM をカスタマイズできる手法である低ランク適応 (LoRA) を利用できるようになりました。LoRA は、タスク固有の小さなアダプターを基本モデルに接続することで機能し、デバイス上のさまざまなアプリケーションに対応できるように拡張できます。このアプローチは、システム リソースを共有しながら複数のアプリケーションとタスクを同時に管理する必要があるデバイスに特に役立ちます。
RTX AI ツールキットの一部である NVIDIA の TensorRT-LLM は、マルチ LoRA サポートを導入しました。これは、RTX AI PC およびワークステーションにとって大きな機能強化です。この機能により、推論時にさまざまなユースケースに対応できるようになり、開発者は大きなメモリ オーバーヘッドなしでアプリケーションに AI 機能を実装しやすくなります。
LoRA 技術自体には、LoRA アダプターと呼ばれるモデル内のパラメーターの小さなサブセットを微調整することが含まれます。これらのアダプターはカスタマイズされますが、メインのモデル パラメーターは変更されません。トレーニングされたアダプターは、推論中に基礎モデルに統合され、レーテンシーやスループットのオーバーヘッドが最小限に抑えられます。この方法は、メモリ効率が高いだけでなく、カスタム モデルを使用して複数のクライアントにサービスを提供する場合でも高いパフォーマンスを維持します。
最新のニュース
sinnブランディング女性アーティスト育成
24/11/12 4:30
sinn branding(京都市左京区)は、2024年9月3日に京都祇園の「登喜家」で女性向けアーティスト育成Art salon杏美津を開始した。
Copyright © 2024 Generatived - All right Reserved.
ニュース
AIと法律/制度/経済/社会
Generatived は、Generative AIに特化した情報やトレンドをお届けするサービスです。大きく変わりゆく世界の情報を全力でお届けします。
Generatived は、Generative AIに特化した情報やトレンドをお届けするサービスです。大きく変わりゆく世界の情報を全力でお届けします。
最新のニュース
sinnブランディング女性アーティスト育成
24/11/12 4:30
sinn branding(京都市左京区)は、2024年9月3日に京都祇園の「登喜家」で女性向けアーティスト育成Art salon杏美津を開始した。