視覚言語モデル (VLM) は、ロボットがマルチモーダル データを処理および理解できるようにすることで、ロボットの機能を強化しています。言語理解と視覚機能を組み合わせたこれらのモデルにより、ロボットは長期記憶を構築および照会できるようになり、長期間にわたって環境をナビゲートして対話する能力が向上します。プロジェクト ReMEmbR は、VLM とベクター データベースを使用してロボットのセマンティック メモリを作成し、それを LLM エージェントが推論することで、この進歩を実証しています。

ReMEmbR の 2 段階システムは、ロボットがビデオ セグメントをキャプチャして保存するメモリ構築フェーズから始まります。その後、ビデオ セグメントにキャプションを付けてベクター データベースに埋め込みます。この構造化メモリにより、情報の効率的な保存と照会が可能になります。その後の照会フェーズでは、このデータを取得して推論し、ユーザーからの複雑な質問に答えることができる LLM エージェントが関与します。このプロセスにより、ロボットは空間的および時間的な理解を必要とするタスクを実行できます。

ReMEmbR の実用化は、NVIDIA Isaac ROS と Nova Carter を搭載した実際のロボットによって実証されています。このロボットは、オフィス環境を移動し、質問に答え、人々を特定の場所に誘導することができます。音声認識の統合により、自然なユーザー インタラクションが可能になり、ロボット工学における VLM と LLM の可能性が示されます。

ReMEmbR のオープン ソースの性質、および共有コードとリソースにより、開発者はロボット工学における生成 AI の分野を探求し、貢献することができます。このプロジェクトの成功は、ロボットが長期にわたって自律的に移動して周囲と対話し、さまざまな設定で貴重な支援を提供できる未来を示しています。