Model bahasa visual (VLM) meningkatkan kemampuan robot dengan memungkinkan mereka memproses dan memahami data multimodal. Menggabungkan pemahaman bahasa dan kemampuan visual, model ini memungkinkan robot membangun dan menanyakan memori jangka panjang, meningkatkan kemampuan mereka untuk bernavigasi dan berinteraksi dengan lingkungannya dalam jangka waktu yang lama. Project ReMEmbR mendemonstrasikan kemajuan ini dengan menggunakan VLM dan database vektor untuk membuat memori semantik robot, yang kemudian disimpulkan oleh agen LLM.

Sistem dua tahap ReMEmbR dimulai dengan fase konstruksi memori di mana robot menangkap dan menyimpan segmen video. Segmen video kemudian diberi teks dan dimasukkan ke dalam database vektor. Memori terstruktur ini memungkinkan penyimpanan dan permintaan informasi yang efisien. Fase kueri berikutnya melibatkan agen LLM yang dapat mengambil data ini dan membuat kesimpulan untuk menjawab pertanyaan kompleks dari pengguna. Proses ini memungkinkan robot melakukan tugas-tugas yang memerlukan pemahaman spasial dan temporal.

Penerapan praktis ReMembR didemonstrasikan dengan robot nyata yang ditenagai oleh NVIDIA Isaac ROS dan Nova Carter. Robot ini dapat bergerak di lingkungan kantor, menjawab pertanyaan, dan mengarahkan orang ke lokasi tertentu. Integrasi pengenalan suara memungkinkan interaksi pengguna secara alami dan menunjukkan potensi VLM dan LLM dalam robotika.

Sifat sumber terbuka ReMEmbR serta kode dan sumber daya bersama memungkinkan pengembang untuk mengeksplorasi dan berkontribusi pada bidang AI generatif dalam robotika. Keberhasilan proyek ini menunjukkan masa depan di mana robot dapat bergerak secara mandiri dalam jangka waktu yang lama, berinteraksi dengan lingkungannya, dan memberikan bantuan berharga dalam berbagai situasi.