top of page

Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

logo.png

NVIDIA nâng cao khả năng của robot với VLM và LLM

Generatived

24/9/24 4:00

Các mô hình ngôn ngữ hình ảnh (VLM) nâng cao khả năng của robot bằng cách cho phép chúng xử lý và hiểu dữ liệu đa phương thức. Kết hợp khả năng hiểu ngôn ngữ và khả năng thị giác, các mô hình này cho phép robot xây dựng và truy vấn bộ nhớ dài hạn, cải thiện khả năng điều hướng và tương tác với môi trường trong thời gian dài. Dự án ReMEmbR chứng minh tiến trình này bằng cách sử dụng cơ sở dữ liệu VLM và vectơ để tạo bộ nhớ ngữ nghĩa của robot, sau đó được tác nhân LLM suy ra.

Hệ thống hai giai đoạn của ReMEmbR bắt đầu bằng giai đoạn xây dựng bộ nhớ, trong đó robot ghi lại và lưu trữ các phân đoạn video. Các phân đoạn video sau đó được chú thích và nhúng vào cơ sở dữ liệu vectơ. Bộ nhớ có cấu trúc này cho phép lưu trữ và truy vấn thông tin hiệu quả. Giai đoạn truy vấn tiếp theo liên quan đến tác nhân LLM có thể lấy dữ liệu này và đưa ra suy luận để trả lời các câu hỏi phức tạp từ người dùng. Quá trình này cho phép robot thực hiện các nhiệm vụ đòi hỏi sự hiểu biết về không gian và thời gian.

Ứng dụng thực tế của ReMembR được thể hiện bằng một robot thực sự được cung cấp bởi NVIDIA Isaac ROS và Nova Carter. Robot này có thể di chuyển xung quanh môi trường văn phòng, trả lời các câu hỏi và hướng dẫn mọi người đến các địa điểm cụ thể. Việc tích hợp nhận dạng giọng nói cho phép người dùng tương tác tự nhiên và thể hiện tiềm năng của VLM và LLM trong chế tạo robot.

Bản chất nguồn mở cũng như mã và tài nguyên được chia sẻ của ReMEmbR cho phép các nhà phát triển khám phá và đóng góp cho lĩnh vực AI tổng hợp trong chế tạo robot. Thành công của dự án này mở ra một tương lai nơi robot có thể di chuyển tự chủ trong thời gian dài, tương tác với môi trường xung quanh và cung cấp sự hỗ trợ có giá trị trong nhiều môi trường khác nhau.

Chia sẻ bài viết này:

Tin tức mới nhất
Hội thảo AI Rewire sẽ được tổ chức vào tháng 10 năm 2024

Hội thảo AI Rewire sẽ được tổ chức vào tháng 10 năm 2024

24/11/15 4:30

Rewire (Minato-ku, Tokyo) sẽ tổ chức hội thảo có chủ đề "AI của CƠ HỘI" vào ngày 24 tháng 10 năm 2024.

Thông báo về Hội thảo trực tuyến WonderSpace SEO/SEM

Thông báo về Hội thảo trực tuyến WonderSpace SEO/SEM

24/11/15 4:30

WonderSpace (Minato-ku, Tokyo) đã thông báo rằng họ sẽ tổ chức một hội thảo trực tuyến về cách cải thiện hiệu quả tạo nội dung SEO/SEM bằng ChatGPT.

Dự án kịch bản AI cho phim truyền hình ABEJA Hashida

Dự án kịch bản AI cho phim truyền hình ABEJA Hashida

24/11/15 4:30

ABEJA (Minato-ku, Tokyo) sẽ hợp tác với Quỹ văn hóa Hashida (Chiyoda-ku, Tokyo) và tham gia dự án "AI Hashida SUGAko".

Articul8 và CTC hỗ trợ hiệu quả kinh doanh bằng AI

Articul8 và CTC hỗ trợ hiệu quả kinh doanh bằng AI

24/11/15 4:30

Articul8 (Trụ sở chính: ) góp phần nâng cao hiệu quả kinh doanh cho các công ty thông qua nền tảng Generative AI tự động.

Copyright © 2024 Generatived - All right Reserved.

Chia sẻ bài viết này:

Chia sẻ bài viết này:

Generatived

Generatived là dịch vụ cung cấp thông tin và xu hướng chuyên về Generative AI. Chúng tôi sẽ cố gắng hết sức để cung cấp thông tin về thế giới đang thay đổi nhanh chóng.

  • Facebook
  • X

Hãy theo dõi chúng tôi

Ngôn ngữ

Tin tức mới nhất
Hội thảo AI Rewire sẽ được tổ chức vào tháng 10 năm 2024

Hội thảo AI Rewire sẽ được tổ chức vào tháng 10 năm 2024

24/11/15 4:30

Rewire (Minato-ku, Tokyo) sẽ tổ chức hội thảo có chủ đề "AI của CƠ HỘI" vào ngày 24 tháng 10 năm 2024.

Thông báo về Hội thảo trực tuyến WonderSpace SEO/SEM

Thông báo về Hội thảo trực tuyến WonderSpace SEO/SEM

24/11/15 4:30

WonderSpace (Minato-ku, Tokyo) đã thông báo rằng họ sẽ tổ chức một hội thảo trực tuyến về cách cải thiện hiệu quả tạo nội dung SEO/SEM bằng ChatGPT.

Dự án kịch bản AI cho phim truyền hình ABEJA Hashida

Dự án kịch bản AI cho phim truyền hình ABEJA Hashida

24/11/15 4:30

ABEJA (Minato-ku, Tokyo) sẽ hợp tác với Quỹ văn hóa Hashida (Chiyoda-ku, Tokyo) và tham gia dự án "AI Hashida SUGAko".

Articul8 và CTC hỗ trợ hiệu quả kinh doanh bằng AI

Articul8 và CTC hỗ trợ hiệu quả kinh doanh bằng AI

24/11/15 4:30

Articul8 (Trụ sở chính: ) góp phần nâng cao hiệu quả kinh doanh cho các công ty thông qua nền tảng Generative AI tự động.

bottom of page