Generatif (Beta) |. Memberikan berita dan tren terkini dalam AI generatif
NVIDIA meningkatkan kemampuan robot dengan VLM dan LLM
Generatived
24/9/24 4:00
Model bahasa visual (VLM) meningkatkan kemampuan robot dengan memungkinkan mereka memproses dan memahami data multimodal. Menggabungkan pemahaman bahasa dan kemampuan visual, model ini memungkinkan robot membangun dan menanyakan memori jangka panjang, meningkatkan kemampuan mereka untuk bernavigasi dan berinteraksi dengan lingkungannya dalam jangka waktu yang lama. Project ReMEmbR mendemonstrasikan kemajuan ini dengan menggunakan VLM dan database vektor untuk membuat memori semantik robot, yang kemudian disimpulkan oleh agen LLM.
Sistem dua tahap ReMEmbR dimulai dengan fase konstruksi memori di mana robot menangkap dan menyimpan segmen video. Segmen video kemudian diberi teks dan dimasukkan ke dalam database vektor. Memori terstruktur ini memungkinkan penyimpanan dan permintaan informasi yang efisien. Fase kueri berikutnya melibatkan agen LLM yang dapat mengambil data ini dan membuat kesimpulan untuk menjawab pertanyaan kompleks dari pengguna. Proses ini memungkinkan robot melakukan tugas-tugas yang memerlukan pemahaman spasial dan temporal.
Penerapan praktis ReMembR didemonstrasikan dengan robot nyata yang ditenagai oleh NVIDIA Isaac ROS dan Nova Carter. Robot ini dapat bergerak di lingkungan kantor, menjawab pertanyaan, dan mengarahkan orang ke lokasi tertentu. Integrasi pengenalan suara memungkinkan interaksi pengguna secara alami dan menunjukkan potensi VLM dan LLM dalam robotika.
Sifat sumber terbuka ReMEmbR serta kode dan sumber daya bersama memungkinkan pengembang untuk mengeksplorasi dan berkontribusi pada bidang AI generatif dalam robotika. Keberhasilan proyek ini menunjukkan masa depan di mana robot dapat bergerak secara mandiri dalam jangka waktu yang lama, berinteraksi dengan lingkungannya, dan memberikan bantuan berharga dalam berbagai situasi.
Bagikan artikel ini:
Berita terkini
Novo AI dan kemitraan penemuan pasar
24/11/7 4:30
Novo AI (Singapura) telah mengumumkan kemitraan dengan discovermarket untuk mengubah masa depan asuransi digital.
Acara Data+AI disponsori oleh Zeal
24/11/7 4:30
Zeal (Shinagawa-ku, Tokyo) akan mensponsori "Data + AI World Tour Tokyo" yang akan diadakan di ANA InterContinental Hotel Tokyo pada 14 November 2024.
Pembukaan fasilitas pengalaman Dell dan penguatan dukungan korporasi
24/11/7 4:30
Dell Technologies (Chiyoda-ku, Tokyo) telah membuka Client Solution & AI Lab, sebuah fasilitas pengalaman praktis untuk PC dan periferal korporat.
Copyright © 2024 Generatived - All right Reserved.
Bagikan artikel ini:
Bagikan artikel ini:
Kategori
Berita
AI dan hukum/peraturan/masyarakat
Generatived adalah layanan yang memberikan informasi dan tren khusus dalam AI Generatif. Kami akan melakukan yang terbaik untuk menyampaikan informasi tentang dunia yang berubah dengan cepat.
Generatived adalah layanan yang memberikan informasi dan tren khusus dalam AI Generatif. Kami akan melakukan yang terbaik untuk menyampaikan informasi tentang dunia yang berubah dengan cepat.
Profil perusahaan
Berita terkini
Novo AI dan kemitraan penemuan pasar
24/11/7 4:30
Novo AI (Singapura) telah mengumumkan kemitraan dengan discovermarket untuk mengubah masa depan asuransi digital.
Acara Data+AI disponsori oleh Zeal
24/11/7 4:30
Zeal (Shinagawa-ku, Tokyo) akan mensponsori "Data + AI World Tour Tokyo" yang akan diadakan di ANA InterContinental Hotel Tokyo pada 14 November 2024.
Pembukaan fasilitas pengalaman Dell dan penguatan dukungan korporasi
24/11/7 4:30
Dell Technologies (Chiyoda-ku, Tokyo) telah membuka Client Solution & AI Lab, sebuah fasilitas pengalaman praktis untuk PC dan periferal korporat.