MLCommons mengumumkan MedPerf, platform benchmarking terbuka untuk model AI medis. MedPerf berupaya memvalidasi model AI pada beragam populasi dan berupaya mengurangi bias yang tidak diinginkan dari data klinis yang terbatas. AI akan dievaluasi berdasarkan data medis dunia nyata.

MLCommons bertujuan untuk membuat beragam data medis mudah diakses dan mempromosikan model yang tidak bias dan memiliki dampak nyata. Alex Karargyris, Co-Chairman MLCommons Medical, mengatakan hal ini akan memberikan tolok ukur pada kumpulan data yang besar dan beragam untuk meningkatkan validitas dan membangun kepercayaan.


Evaluasi gabungan MedPerf secara efisien mengevaluasi model AI tanpa mengakses data pasien. Micah Sheller, pimpinan proyek teknologi, mengatakan MLCommons memiliki desain privasi transparan yang menjadikannya platform ideal untuk MedPerf.

Orkestrasi dan otomatisasi akan mempercepat penelitian dalam pembelajaran gabungan. Wakil Ketua Dr. Spyridon Bakas menyoroti efisiensi MedPerf dalam mengevaluasi beberapa model AI dalam hitungan jam. Tantangan Federated Tumor Segmentation (FeTS) yang sukses memvalidasi MedPerf dengan membandingkan 41 model di 32 lokasi global tanpa berbagi data.

MedPerf telah bermitra dengan Sage Bionetworks dan Hugging Face untuk menangani tugas-tugas biomedis seperti patologi digital dan omics. Ini juga mendukung perpustakaan ML populer seperti fast.ai dan model yang dapat diakses API.

MedPerf bertujuan untuk mempercepat penerapan AI medis melalui keterbukaan, membangun kepercayaan, perawatan yang dipersonalisasi, menurunkan biaya, dan meningkatkan pengalaman layanan kesehatan. Kelompok Kerja Medis MLCommons mengucapkan terima kasih kepada rekan penulis yang memajukan evaluasi AI medis.