Cerebras Systems dan Petuum, bekerja sama dengan MBZUAI, memperkenalkan 'CrystalCoder', model AI baru dengan 7 miliar parameter yang mahir menangani tugas bahasa Inggris dan pengkodean dengan akurasi tinggi. Tidak seperti versi sebelumnya yang berspesialisasi dalam bahasa atau pengkodean, CrystalCoder unggul di kedua bidang tersebut. Model tersebut dilatih pada Condor Galaxy 1, superkomputer AI yang dikembangkan oleh G42 dan Cerebras. CrystalCoder-7B mematuhi metodologi LLM360, yang menekankan reproduktifitas dan praktik AI yang bertanggung jawab, dan kini dapat diakses melalui Hugging Face.

Sebagai upaya bersama oleh Petuum, MBZUAI, dan Cerebras, metodologi LLM360 bertujuan untuk memperkuat keterbukaan dan keamanan AI generatif dengan menyediakan sumber daya yang komprehensif untuk replikasi model. Hal ini termasuk berbagi pos pemeriksaan pelatihan 360, keranjang data, dan berbagai skrip serta alat di bawah lisensi Apache 2.0. Inisiatif ini merupakan bagian dari gerakan yang lebih luas dalam komunitas open source untuk menjadikan model AI tingkat lanjut lebih mudah diakses dan dipahami, mendorong penelitian dan mendorong kolaborasi.

Kinerja CrystalCoder patut diperhatikan. Ini sebanding dengan akurasi pengkodean berbasis StarCoder, dan sebanding dengan model seperti Llama dan MPT-7B dalam tugas bahasa. Kedua kemahiran ini mewakili kemajuan yang signifikan, memberikan pengembang satu model yang secara efektif memenuhi kebutuhan pengkodean dan bahasa. Sebelumnya, pengguna harus memilih antara model yang dioptimalkan untuk satu tugas atau lainnya, namun CrystalCoder kini menawarkan solusi terintegrasi untuk kedua domain.