Generatived(Beta)|生成AIの最新ニュースとトレンドを提供
NVIDIA が VLM と LLM でロボットの機能を強化
Generatived
2024年9月24日
視覚言語モデル (VLM) は、ロボットがマルチモーダル データを処理および理解できるようにすることで、ロボットの機能を強化しています。言語理解と視覚機能を組み合わせたこれらのモデルにより、ロボットは長期記憶を構築および照会できるようになり、長期間にわたって環境をナビゲートして対話する能力が向上します。プロジェクト ReMEmbR は、VLM とベクター データベースを使用してロボットのセマンティック メモリを作成し、それを LLM エージェントが推論することで、この進歩を実証しています。
ReMEmbR の 2 段階システムは、ロボットがビデオ セグメントをキャプチャして保存するメモリ構築フェーズから始まります。その後、ビデオ セグメントにキャプションを付けてベクター データベースに埋め込みます。この構造化メモリにより、情報の効率的な保存と照会が可能になります。その後の照会フェーズでは、このデータを取得して推論し、ユーザーからの複雑な質問に答えることができる LLM エージェントが関与します。このプロセスにより、ロボットは空間的および時間的な理解を必要とするタスクを実行できます。
ReMEmbR の実用化は、NVIDIA Isaac ROS と Nova Carter を搭載した実際のロボットによって実証されています。このロボットは、オフィス環境を移動し、質問に答え、人々を特定の場所に誘導することができます。音声認識の統合により、自然なユーザー インタラクションが可能になり、ロボット工学における VLM と LLM の可能性が示されます。
ReMEmbR のオープン ソースの性質、および共有コードとリソースにより、開発者はロボット工学における生成 AI の分野を探求し、貢献することができます。このプロジェクトの成功は、ロボットが長期にわたって自律的に移動して周囲と対話し、さまざまな設定で貴重な支援を提供できる未来を示しています。
最新のニュース
Integrail、簡単なコード不要の自動化を実現する AI Studio をリリース
2024年9月24日 4:00:00
Integrail は、コーディングを必要とせずに企業向け AI アプリケーションの作成を簡素化する新しいプラットフォーム、AI Studio を発表しました。
Phenom、AIの進歩に関するグローバルHRイベントを発表
2024年9月24日 4:00:00
Phenom は、AI、自動化、スキル開発に焦点を当てた一連のグローバル イベントで HR 業界と関わる予定です。
PolyAI が OpenTable と提携してダイニング体験を向上
2024年9月24日 4:00:00
PolyAI は OpenTable と戦略的提携を結び、レストランに高度な音声 AI テクノロジーを導入して食事体験を向上させています。
Generatived は、Generative AIに特化した情報やトレンドをお届けするサービスです。大きく変わりゆく世界の情報を全力でお届けします。
ニュース
Generatived は、Generative AIに特化した情報やトレンドをお届けするサービスです。大きく変わりゆく世界の情報を全力でお届けします。
Copyright © 2024 Generatived - All right Reserved.
最新のニュース
Integrail、簡単なコード不要の自動化を実現する AI Studio をリリース
2024年9月24日 4:00:00
Integrail は、コーディングを必要とせずに企業向け AI アプリケーションの作成を簡素化する新しいプラットフォーム、AI Studio を発表しました。
Phenom、AIの進歩に関するグローバルHRイベントを発表
2024年9月24日 4:00:00
Phenom は、AI、自動化、スキル開発に焦点を当てた一連のグローバル イベントで HR 業界と関わる予定です。
PolyAI が OpenTable と提携してダイニング体験を向上
2024年9月24日 4:00:00
PolyAI は OpenTable と戦略的提携を結び、レストランに高度な音声 AI テクノロジーを導入して食事体験を向上させています。