Generatived(Beta)|生成AIの最新ニュースとトレンドを提供
NVIDIA が VLM と LLM でロボットの機能を強化
Generatived
2024年9月24日
視覚言語モデル (VLM) は、ロボットがマルチモーダル データを処理および理解できるようにすることで、ロボットの機能を強化しています。言語理解と視覚機能を組み合わせたこれらのモデルにより、ロボットは長期記憶を構築および照会できるようになり、長期間にわたって環境をナビゲートして対話する能力が向上します。プロジェクト ReMEmbR は、VLM とベクター データベースを使用してロボットのセマンティック メモリを作成し、それを LLM エージェントが推論することで、この進歩を実証しています。
ReMEmbR の 2 段階システムは、ロボットがビデオ セグメントをキャプチャして保存するメモリ構築フェーズから始まります。その後、ビデオ セグメントにキャプションを付けてベクター データベースに埋め込みます。この構造化メモリにより、情報の効率的な保存と照会が可能になります。その後の照会フェーズでは、このデータを取得して推論し、ユーザーからの複雑な質問に答えることができる LLM エージェントが関与します。このプロセスにより、ロボットは空間的および時間的な理解を必要とするタスクを実行できます。
ReMEmbR の実用化は、NVIDIA Isaac ROS と Nova Carter を搭載した実際のロボットによって実証されています。このロボットは、オフィス環境を移動し、質問に答え、人々を特定の場所に誘導することができます。音声認識の統合により、自然なユーザー インタラクションが可能になり、ロボット工学における VLM と LLM の可能性が示されます。
ReMEmbR のオープン ソースの性質、および共有コードとリソースにより、開発者はロボット工学における生成 AI の分野を探求し、貢献することができます。このプロジェクトの成功は、ロボットが長期にわたって自律的に移動して周囲と対話し、さまざまな設定で貴重な支援を提供できる未来を示しています。
最新のニュース
スタンフォード・デジタル経済研究所がデジタル論文を発表
2024年9月25日 3:30:00
スタンフォード大学デジタル経済研究所は、人工知能(AI)が形作る潜在的な未来とそれが民主主義制度に与える影響を検証する、考えさせられるシリーズ「デジタルリスト論文」を発表しました。
SuccessKPI、AI 人材管理強化ツールを発表
2024年9月25日 3:30:00
SuccessKPI は、コンタクト センターのトラフィック予測と人員配置を強化するために設計された AI 搭載のワークフォース マネジメント ソリューションを発表しました。
SHIFT AI生成AI人材育成研修導入
2024年9月24日 4:00:00
SHIFT AI(東京都渋谷区)は、国内最大級のAI活用コミュニティ「SHIFT AI」を運営し、「生成AI人材育成研修」をインターロジックに導入したと発表した。
Generatived は、Generative AIに特化した情報やトレンドをお届けするサービスです。大きく変わりゆく世界の情報を全力でお届けします。
ニュース
Generatived は、Generative AIに特化した情報やトレンドをお届けするサービスです。大きく変わりゆく世界の情報を全力でお届けします。
Copyright © 2024 Generatived - All right Reserved.
最新のニュース
スタンフォード・デジタル経済研究所がデジタル論文を発表
2024年9月25日 3:30:00
スタンフォード大学デジタル経済研究所は、人工知能(AI)が形作る潜在的な未来とそれが民主主義制度に与える影響を検証する、考えさせられるシリーズ「デジタルリスト論文」を発表しました。
SuccessKPI、AI 人材管理強化ツールを発表
2024年9月25日 3:30:00
SuccessKPI は、コンタクト センターのトラフィック予測と人員配置を強化するために設計された AI 搭載のワークフォース マネジメント ソリューションを発表しました。
SHIFT AI生成AI人材育成研修導入
2024年9月24日 4:00:00
SHIFT AI(東京都渋谷区)は、国内最大級のAI活用コミュニティ「SHIFT AI」を運営し、「生成AI人材育成研修」をインターロジックに導入したと発表した。