Sourcegraph baru-baru ini memulai usaha patungan untuk meningkatkan kemampuan AI dalam pembuatan dan pemahaman kode. Dengan memanfaatkan jendela konteks yang panjang, perusahaan tersebut bertujuan untuk meningkatkan pemahaman basis kode yang besar dan kompleks yang telah menjadi tantangan bagi model AI tradisional. Perusahaan tersebut telah bermitra dengan para kreator asisten pengkodean AI Cody, yang telah digunakan oleh perusahaan-perusahaan dengan basis kode yang besar, untuk membuat kerangka praktis guna menguji potensi model AI canggih ini dalam skenario dunia nyata. Kami menyediakan pekerjaan.

Untuk mengukur manfaat penggunaan jendela konteks yang disempurnakan, Sourcegraph melakukan serangkaian pengujian yang membandingkan kinerja Cody dengan jendela konteks 1 juta token dengan versi standar. Pengujian tersebut difokuskan pada menjawab pertanyaan teknis, yang merupakan fitur penting bagi para pengembang. Hasilnya, kami melihat peningkatan yang signifikan dalam beberapa tolok ukur, termasuk Essential Recall, Essential Concision, dan Helpfulness, dan secara signifikan mengurangi pembuatan informasi palsu, yang dikenal sebagai tingkat halusinasi.

Meskipun ada manfaat yang jelas dari penerapan model konteks panjang, Sourcegraph mengakui adanya beberapa trade-off, seperti waktu yang lebih lama yang diperlukan untuk menghasilkan token pertama. Untuk mengatasi hal ini, mereka memperkenalkan mekanisme prefetch dan arsitektur model baru yang menyimpan status eksekusi model, sehingga secara signifikan mengurangi waktu respons bantuan pengkodean waktu nyata.

Kolaborasi Sourcegraph dengan pengembang asisten pengkodean AI Cody menyoroti kemajuan signifikan dalam penerapan AI untuk pembuatan dan pemahaman kode. Dengan mengoptimalkan penggunaan jendela konteks yang panjang, mereka meningkatkan akurasi dan efisiensi alat AI untuk pengembang yang bekerja dengan basis kode yang luas dan kompleks.