Allen Institute for AI telah mengumumkan OLMo 7B, model bahasa open source berskala besar yang komprehensif dengan data pra-pelatihan dan kode pelatihan. Rilis ini merupakan langkah penting menuju peningkatan transparansi dan kolaborasi dalam pengembangan AI, karena memberikan akses yang belum pernah terjadi sebelumnya terhadap sumber daya yang sebelumnya tidak tersedia dalam model terbuka sebesar ini. Dengan membagikan OLMo 7B, lembaga ini bertujuan untuk membantu para peneliti dan pengembang lebih memahami model AI.

Kerangka kerja OLMo dirancang untuk mendukung komunitas AI dalam pelatihan dan menyempurnakan model bahasa dalam skala besar. Sumber daya, termasuk modelnya sendiri, dapat diakses dengan mudah untuk diunduh dari platform seperti Hugging Face dan GitHub. Pekerjaan ini dimungkinkan melalui kolaborasi dengan berbagai institusi dan mitra, termasuk Kempner Institute di Universitas Harvard dan perusahaan teknologi seperti AMD dan Databricks. Peluncuran kerangka kerja ini akan memperkuat kemajuan kolektif di bidang penelitian model bahasa.

Kumpulan alat yang disediakan dalam kerangka OLMo sangat luas. Ini mencakup kumpulan data pra-pelatihan besar-besaran yang dikenal sebagai kumpulan Dolma, yang dibangun di atas korpus terbuka yang terdiri dari 3 triliun token. Selain itu, kerangka kerja ini menyediakan bobot model lengkap untuk varian model yang berbeda, bersama dengan kode inferensi dan log pelatihan terperinci. Rangkaian evaluasi juga merupakan bagian dari paket ini, dengan pos pemeriksaan ekstensif untuk evaluasi model menyeluruh.

Peluncuran OLMo oleh Allen Institute for AI merupakan langkah strategis untuk mendorong pendekatan yang lebih kolaboratif dan transparan terhadap pengembangan model bahasa. Lembaga ini berencana untuk memperluas keluarga OLMo dengan ukuran model dan fitur yang berbeda dalam waktu dekat. Upaya ini diharapkan dapat menghasilkan penelitian AI yang lebih akurat, pengurangan jejak karbon dalam pengembangan AI, dan penciptaan sumber daya yang berkelanjutan bagi komunitas ilmiah. Superkomputer LUMI Finlandia, yang terkenal dengan operasinya yang netral karbon, memainkan peran penting dalam pra-pelatihan OLMo, menyoroti pentingnya praktik berkelanjutan dalam kemajuan teknologi AI.