top of page

Generatived(Beta)|生成AIの最新ニュースとトレンドを提供

logo.png

NVIDIA RTX AI が効率的な LLM を実現するマルチ LoRA を導入

Generatived

24/8/29 2:00

AI テクノロジーの最新の進歩により、メモリが限られたデバイス上で大規模言語モデル (LLM) を効率的に使用できるようにする新しい機能が RTX AI ツールキット内に開発されました。このイノベーションにより、モデルの複数のインスタンスをホストする必要なく、多言語翻訳アシスタントなどの複数のユースケースを同時に処理できるようになります。

開発者は、最小限のメモリ要件で単一の LLM をカスタマイズできる手法である低ランク適応 (LoRA) を利用できるようになりました。LoRA は、タスク固有の小さなアダプターを基本モデルに接続することで機能し、デバイス上のさまざまなアプリケーションに対応できるように拡張できます。このアプローチは、システム リソースを共有しながら複数のアプリケーションとタスクを同時に管理する必要があるデバイスに特に役立ちます。

RTX AI ツールキットの一部である NVIDIA の TensorRT-LLM は、マルチ LoRA サポートを導入しました。これは、RTX AI PC およびワークステーションにとって大きな機能強化です。この機能により、推論時にさまざまなユースケースに対応できるようになり、開発者は大きなメモリ オーバーヘッドなしでアプリケーションに AI 機能を実装しやすくなります。

LoRA 技術自体には、LoRA アダプターと呼ばれるモデル内のパラメーターの小さなサブセットを微調整することが含まれます。これらのアダプターはカスタマイズされますが、メインのモデル パラメーターは変更されません。トレーニングされたアダプターは、推論中に基礎モデルに統合され、レーテンシーやスループットのオーバーヘッドが最小限に抑えられます。この方法は、メモリ効率が高いだけでなく、カスタム モデルを使用して複数のクライアントにサービスを提供する場合でも高いパフォーマンスを維持します。

この記事を共有:

最新のニュース
ティファナドットコムAIさくら導入北陸名鉄

ティファナドットコムAIさくら導入北陸名鉄

24/11/12 4:30

ティファナ・ドットコム(東京都目黒区)が提供する「AIさくらさん」が、2024年11月8日より北陸名鉄開発(北陸)に導入された。

sinnブランディング女性アーティスト育成

sinnブランディング女性アーティスト育成

24/11/12 4:30

sinn branding(京都市左京区)は、2024年9月3日に京都祇園の「登喜家」で女性向けアーティスト育成Art salon杏美津を開始した。

FCE Smart Boarding導入社数倍増

FCE Smart Boarding導入社数倍増

24/11/12 4:30

FCE(東京都新宿区)は、自社の「Smart Boarding 人材育成」プラットフォームが1149社に導入されたと発表。

HOUSEI生成AIプラットフォーム新機能

HOUSEI生成AIプラットフォーム新機能

24/11/12 4:30

HOUSEI(東京都新宿区)は、自社開発の生成AIローコード開発プラットフォーム「imprai」に新機能を追加したと発表した。

Copyright © 2024 Generatived - All right Reserved.

この記事を共有:

この記事を共有:

Generatived

Generatived は、Generative AIに特化した情報やトレンドをお届けするサービスです。大きく変わりゆく世界の情報を全力でお届けします。

  • Facebook
  • X

フォローをお願いします

言語

最新のニュース
ティファナドットコムAIさくら導入北陸名鉄

ティファナドットコムAIさくら導入北陸名鉄

24/11/12 4:30

ティファナ・ドットコム(東京都目黒区)が提供する「AIさくらさん」が、2024年11月8日より北陸名鉄開発(北陸)に導入された。

sinnブランディング女性アーティスト育成

sinnブランディング女性アーティスト育成

24/11/12 4:30

sinn branding(京都市左京区)は、2024年9月3日に京都祇園の「登喜家」で女性向けアーティスト育成Art salon杏美津を開始した。

FCE Smart Boarding導入社数倍増

FCE Smart Boarding導入社数倍増

24/11/12 4:30

FCE(東京都新宿区)は、自社の「Smart Boarding 人材育成」プラットフォームが1149社に導入されたと発表。

HOUSEI生成AIプラットフォーム新機能

HOUSEI生成AIプラットフォーム新機能

24/11/12 4:30

HOUSEI(東京都新宿区)は、自社開発の生成AIローコード開発プラットフォーム「imprai」に新機能を追加したと発表した。

bottom of page