Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Các mô hình ngôn ngữ hình ảnh (VLM) nâng cao khả năng của robot bằng cách cho phép chúng xử lý và hiểu dữ liệu đa phương thức. Kết hợp khả năng hiểu ngôn ngữ và khả năng thị giác, các mô hình này cho phép robot xây dựng và truy vấn bộ nhớ dài hạn, cải thiện khả năng điều hướng và tương tác với môi trường trong thời gian dài. Dự án ReMEmbR chứng minh tiến trình này bằng cách sử dụng cơ sở dữ liệu VLM và vectơ để tạo bộ nhớ ngữ nghĩa của robot, sau đó được tác nhân LLM suy ra.

Hệ thống hai giai đoạn của ReMEmbR bắt đầu bằng giai đoạn xây dựng bộ nhớ, trong đó robot ghi lại và lưu trữ các phân đoạn video. Các phân đoạn video sau đó được chú thích và nhúng vào cơ sở dữ liệu vectơ. Bộ nhớ có cấu trúc này cho phép lưu trữ và truy vấn thông tin hiệu quả. Giai đoạn truy vấn tiếp theo liên quan đến tác nhân LLM có thể lấy dữ liệu này và đưa ra suy luận để trả lời các câu hỏi phức tạp từ người dùng. Quá trình này cho phép robot thực hiện các nhiệm vụ đòi hỏi sự hiểu biết về không gian và thời gian.

Ứng dụng thực tế của ReMembR được thể hiện bằng một robot thực sự được cung cấp bởi NVIDIA Isaac ROS và Nova Carter. Robot này có thể di chuyển xung quanh môi trường văn phòng, trả lời các câu hỏi và hướng dẫn mọi người đến các địa điểm cụ thể. Việc tích hợp nhận dạng giọng nói cho phép người dùng tương tác tự nhiên và thể hiện tiềm năng của VLM và LLM trong chế tạo robot.

Bản chất nguồn mở cũng như mã và tài nguyên được chia sẻ của ReMEmbR cho phép các nhà phát triển khám phá và đóng góp cho lĩnh vực AI tổng hợp trong chế tạo robot. Thành công của dự án này mở ra một tương lai nơi robot có thể di chuyển tự chủ trong thời gian dài, tương tác với môi trường xung quanh và cung cấp sự hỗ trợ có giá trị trong nhiều môi trường khác nhau.