Generatived(Beta)|生成AIの最新ニュースとトレンドを提供
NVIDIA が VLM と LLM でロボットの機能を強化
Generatived
2024年9月24日
視覚言語モデル (VLM) は、ロボットがマルチモーダル データを処理および理解できるようにすることで、ロボットの機能を強化しています。言語理解と視覚機能を組み合わせたこれらのモデルにより、ロボットは長期記憶を構築および照会できるようになり、長期間にわたって環境をナビゲートして対話する能力が向上します。プロジェクト ReMEmbR は、VLM とベクター データベースを使用してロボットのセマンティック メモリを作成し、それを LLM エージェントが推論することで、この進歩を実証しています。
ReMEmbR の 2 段階システムは、ロボットがビデオ セグメントをキャプチャして保存するメモリ構築フェーズから始まります。その後、ビデオ セグメントにキャプションを付けてベクター データベースに埋め込みます。この構造化メモリにより、情報の効率的な保存と照会が可能になります。その後の照会フェーズでは、このデータを取得して推論し、ユーザーからの複雑な質問に答えることができる LLM エージェントが関与します。このプロセスにより、ロボットは空間的および時間的な理解を必要とするタスクを実行できます。
ReMEmbR の実用化は、NVIDIA Isaac ROS と Nova Carter を搭載した実際のロボットによって実証されています。このロボットは、オフィス環境を移動し、質問に答え、人々を特定の場所に誘導することができます。音声認識の統合により、自然なユーザー インタラクションが可能になり、ロボット工学における VLM と LLM の可能性が示されます。
ReMEmbR のオープン ソースの性質、および共有コードとリソースにより、開発者はロボット工学における生成 AI の分野を探求し、貢献することができます。このプロジェクトの成功は、ロボットが長期にわたって自律的に移動して周囲と対話し、さまざまな設定で貴重な支援を提供できる未来を示しています。
最新のニュース
インテルが Xeon 6 と Gaudi 3 の AI の進化を発表
2024年9月25日 3:30:00
Intel は、最新の AI インフラストラクチャの進歩を発表し、パフォーマンス コアを搭載した Xeon 6 プロセッサと Gaudi 3 AI アクセラレータを導入しました。
inThought、ライフサイエンスの意思決定のための AI 戦略を発表
2024年9月25日 3:30:00
inThought Research Inc. は、人工知能 (AI) を自社のサービスに統合することでライフサイエンス分野の意思決定を強化する最新の戦略を発表しました。
Kore.ai が AI 駆動型採用ツール RecruitAssist を発表
2024年9月25日 3:30:00
Kore.ai は、採用業務の効率性と公平性を高めることを目的とした AI 駆動型採用ツール RecruitAssist を発表しました。
Generatived は、Generative AIに特化した情報やトレンドをお届けするサービスです。大きく変わりゆく世界の情報を全力でお届けします。
ニュース
Generatived は、Generative AIに特化した情報やトレンドをお届けするサービスです。大きく変わりゆく世界の情報を全力でお届けします。
Copyright © 2024 Generatived - All right Reserved.
最新のニュース
インテルが Xeon 6 と Gaudi 3 の AI の進化を発表
2024年9月25日 3:30:00
Intel は、最新の AI インフラストラクチャの進歩を発表し、パフォーマンス コアを搭載した Xeon 6 プロセッサと Gaudi 3 AI アクセラレータを導入しました。
inThought、ライフサイエンスの意思決定のための AI 戦略を発表
2024年9月25日 3:30:00
inThought Research Inc. は、人工知能 (AI) を自社のサービスに統合することでライフサイエンス分野の意思決定を強化する最新の戦略を発表しました。
Kore.ai が AI 駆動型採用ツール RecruitAssist を発表
2024年9月25日 3:30:00
Kore.ai は、採用業務の効率性と公平性を高めることを目的とした AI 駆動型採用ツール RecruitAssist を発表しました。