top of page
Generatif (Beta) |. Memberikan berita dan tren terkini dalam AI generatif
logo.png

NVIDIA meningkatkan kemampuan robot dengan VLM dan LLM

Generatived

24/9/24 4:00

Model bahasa visual (VLM) meningkatkan kemampuan robot dengan memungkinkan mereka memproses dan memahami data multimodal. Menggabungkan pemahaman bahasa dan kemampuan visual, model ini memungkinkan robot membangun dan menanyakan memori jangka panjang, meningkatkan kemampuan mereka untuk bernavigasi dan berinteraksi dengan lingkungannya dalam jangka waktu yang lama. Project ReMEmbR mendemonstrasikan kemajuan ini dengan menggunakan VLM dan database vektor untuk membuat memori semantik robot, yang kemudian disimpulkan oleh agen LLM.

Sistem dua tahap ReMEmbR dimulai dengan fase konstruksi memori di mana robot menangkap dan menyimpan segmen video. Segmen video kemudian diberi teks dan dimasukkan ke dalam database vektor. Memori terstruktur ini memungkinkan penyimpanan dan permintaan informasi yang efisien. Fase kueri berikutnya melibatkan agen LLM yang dapat mengambil data ini dan membuat kesimpulan untuk menjawab pertanyaan kompleks dari pengguna. Proses ini memungkinkan robot melakukan tugas-tugas yang memerlukan pemahaman spasial dan temporal.

Penerapan praktis ReMembR didemonstrasikan dengan robot nyata yang ditenagai oleh NVIDIA Isaac ROS dan Nova Carter. Robot ini dapat bergerak di lingkungan kantor, menjawab pertanyaan, dan mengarahkan orang ke lokasi tertentu. Integrasi pengenalan suara memungkinkan interaksi pengguna secara alami dan menunjukkan potensi VLM dan LLM dalam robotika.

Sifat sumber terbuka ReMEmbR serta kode dan sumber daya bersama memungkinkan pengembang untuk mengeksplorasi dan berkontribusi pada bidang AI generatif dalam robotika. Keberhasilan proyek ini menunjukkan masa depan di mana robot dapat bergerak secara mandiri dalam jangka waktu yang lama, berinteraksi dengan lingkungannya, dan memberikan bantuan berharga dalam berbagai situasi.

Bagikan artikel ini:

Berita terkini
Novo AI dan kemitraan penemuan pasar

Novo AI dan kemitraan penemuan pasar

24/11/7 4:30

Novo AI (Singapura) telah mengumumkan kemitraan dengan discovermarket untuk mengubah masa depan asuransi digital.

Acara Data+AI disponsori oleh Zeal

Acara Data+AI disponsori oleh Zeal

24/11/7 4:30

Zeal (Shinagawa-ku, Tokyo) akan mensponsori "Data + AI World Tour Tokyo" yang akan diadakan di ANA InterContinental Hotel Tokyo pada 14 November 2024.

Pembukaan fasilitas pengalaman Dell dan penguatan dukungan korporasi

Pembukaan fasilitas pengalaman Dell dan penguatan dukungan korporasi

24/11/7 4:30

Dell Technologies (Chiyoda-ku, Tokyo) telah membuka Client Solution & AI Lab, sebuah fasilitas pengalaman praktis untuk PC dan periferal korporat.

DAPATKAN RING Pitch Teknologi AI Osaka 2024

DAPATKAN RING Pitch Teknologi AI Osaka 2024

24/11/7 4:30

GET IN THE RING (Belanda) adalah kontes di mana startup terlibat dalam pertarungan lapangan di ring tinju.

Copyright © 2024 Generatived - All right Reserved.

Bagikan artikel ini:

Bagikan artikel ini:

Generatived

Ikuti kami

  • Facebook
  • X

Bahasa

Generatived adalah layanan yang memberikan informasi dan tren khusus dalam AI Generatif. Kami akan melakukan yang terbaik untuk menyampaikan informasi tentang dunia yang berubah dengan cepat.

Generatived

Generatived adalah layanan yang memberikan informasi dan tren khusus dalam AI Generatif. Kami akan melakukan yang terbaik untuk menyampaikan informasi tentang dunia yang berubah dengan cepat.

  • Facebook
  • X

Ikuti kami

Bahasa

Berita terkini
Novo AI dan kemitraan penemuan pasar

Novo AI dan kemitraan penemuan pasar

24/11/7 4:30

Novo AI (Singapura) telah mengumumkan kemitraan dengan discovermarket untuk mengubah masa depan asuransi digital.

Acara Data+AI disponsori oleh Zeal

Acara Data+AI disponsori oleh Zeal

24/11/7 4:30

Zeal (Shinagawa-ku, Tokyo) akan mensponsori "Data + AI World Tour Tokyo" yang akan diadakan di ANA InterContinental Hotel Tokyo pada 14 November 2024.

Pembukaan fasilitas pengalaman Dell dan penguatan dukungan korporasi

Pembukaan fasilitas pengalaman Dell dan penguatan dukungan korporasi

24/11/7 4:30

Dell Technologies (Chiyoda-ku, Tokyo) telah membuka Client Solution & AI Lab, sebuah fasilitas pengalaman praktis untuk PC dan periferal korporat.

DAPATKAN RING Pitch Teknologi AI Osaka 2024

DAPATKAN RING Pitch Teknologi AI Osaka 2024

24/11/7 4:30

GET IN THE RING (Belanda) adalah kontes di mana startup terlibat dalam pertarungan lapangan di ring tinju.

bottom of page