Google baru-baru ini mengumumkan teknologi yang bertujuan untuk meningkatkan penerapan AI generatif (gen AI) dalam skenario yang mengutamakan privasi dan kerahasiaan data. Dengan memanfaatkan proyek sumber terbuka GenC milik perusahaan, pengembang dapat bereksperimen dengan model sumber terbuka Komputasi Rahasia dan Gemma di platform seluler. Upaya ini akan memungkinkan terciptanya aplikasi yang didukung oleh AI yang memenuhi tuntutan ketat akan privasi, transparansi, dan kemampuan verifikasi dalam pemrosesan data.

Pendekatan perusahaan melibatkan pengaturan hibrid yang menggabungkan dua model bahasa (LLM). Salah satunya adalah model kecil di perangkat untuk respons cepat, dan yang lainnya adalah model besar yang dihosting di cloud untuk kueri kompleks. Sistem model ganda ini, diwakili oleh Gemma 2B yang terkuantisasi dan Gemma 7B yang tidak terkuantisasi, memungkinkan aplikasi seluler memanfaatkan sumber daya komputasi lokal dan cloud secara efisien. Model Gemma 2B yang lebih kecil berfungsi langsung dengan perangkat seperti Pixel 7 dan menyediakan pemrosesan kueri yang hemat biaya dan cepat. Sementara itu, model Gemma 7B yang lebih besar yang dihosting di Ruang Rahasia Google Cloud memberikan respons berkualitas tinggi untuk tugas yang lebih berat.

Dalam arsitektur inovatif ini, Cloud Trusted Execution Environments (TEEs) bertindak sebagai perpanjangan dari perangkat pengguna, memastikan komunikasi terenkripsi dan pemrosesan data yang non-persisten. Pengembang dapat memverifikasi integritas kode yang berjalan di TEE melalui laporan sertifikasi, karena semua kode sepenuhnya bersumber terbuka untuk inspeksi eksternal. Penyiapan ini rumit, tetapi GenC menyederhanakannya dan menyederhanakan proses pengembangan bagi pemrogram.

Kerangka kerja GenC Google menyederhanakan pengalaman pengembang dengan memberikan contoh kode berbasis Python yang menunjukkan cara menyiapkan skenario Gen AI yang berfokus pada privasi. Kode ini memungkinkan pengembang untuk mengontrol apakah pemrosesan data terjadi di perangkat atau didelegasikan ke TEE di cloud. Selain itu, Intermediate Representation (IR) yang mendasari GenC memungkinkan penerapan logika Gen AI di berbagai platform dan bahasa, memastikan perilaku yang konsisten dan memfasilitasi pembuatan prototipe yang cepat serta penerapan yang fleksibel. . Google siap untuk meningkatkan kinerja dan dukungan model untuk aplikasi Gen AI dengan upaya berkelanjutan untuk memperluas dukungan perangkat lunak dan perangkat keras. saus: