Generatif (Beta) |. Memberikan berita dan tren terkini dalam AI generatif
Google Cloud mengumumkan penyempurnaan jaringan untuk AI
Generatived
24/6/18 5:18
Google Cloud secara aktif mengatasi tantangan spesifik jaringan yang dihadapi oleh perusahaan yang menerapkan model bahasa skala besar (LLM) untuk aplikasi AI generatif. Tidak seperti aplikasi web tradisional, yang memiliki pola lalu lintas yang dapat diprediksi, aplikasi AI generatif memiliki waktu permintaan/respons yang bervariasi dan dapat sepenuhnya menggunakan sumber daya GPU atau TPU, sehingga menghasilkan waktu pemrosesan yang lebih lama. Teknik manajemen lalu lintas tradisional tidak cukup untuk mengelola hal ini secara efektif.
Untuk memenuhi kebutuhan spesifik AI generatif, Google Cloud telah memperkenalkan beberapa fitur jaringan baru. Penyempurnaan ini dirancang untuk mengoptimalkan lalu lintas untuk aplikasi AI dan menggunakan sumber daya GPU dan TPU secara efisien untuk meningkatkan pengalaman pengguna akhir. Ketika inovasi seperti Vertex AI diintegrasikan ke dalam jaringan cloud, perusahaan dapat memanfaatkan kemajuan ini di berbagai platform LLM.
Salah satu layanan utamanya adalah jaringan lintas cloud yang memungkinkan transfer data berkecepatan tinggi antar cloud, yang penting untuk melatih model AI generatif. Jaringan ini memanfaatkan jaringan global Google untuk aplikasi terdistribusi guna menyediakan konektivitas yang andal, aman, dan didukung SLA. Selain itu, titik akhir model-as-a-service yang dikembangkan untuk mendukung aplikasi inferensi AI menyediakan konektivitas yang aman dan memungkinkan penemuan dan penggunaan kembali model AI.
Google Cloud juga memperkenalkan penyeimbangan beban khusus yang mendukung AI untuk meminimalkan latensi inferensi. Fitur baru ini memungkinkan Anda mendistribusikan lalu lintas berdasarkan metrik khusus seperti kedalaman antrean dan mempertahankan waktu respons yang konsisten. Selain itu, Google Cloud Networking menyertakan fitur bawaan yang membuat aplikasi AI generatif lebih andal dan efisien, seperti health check untuk penyeimbangan beban dan pemisahan lalu lintas berbobot untuk meningkatkan efektivitas model.
Ekstensi layanan Google Cloud Application Load Balancer kini tersedia secara umum, memungkinkan Anda mengintegrasikan solusi dan penyesuaian SaaS ke jalur data Anda. Hal ini meningkatkan pengalaman pengguna dengan memungkinkan permintaan diblokir dengan cepat dan dialihkan ke model backend yang paling sesuai.
Peningkatan jaringan oleh Google Cloud ini menunjukkan komitmennya dalam menyediakan solusi yang memungkinkan perusahaan memanfaatkan sepenuhnya kekuatan AI dan mengoptimalkan performa serta skalabilitas aplikasi AI generatif mereka. saus:
Bagikan artikel ini:
Berita terkini
Fungsi baru Beatrust mendukung pencocokan bakat
24/11/15 4:30
Beatrust (Minato-ku, Tokyo) telah menambahkan fitur baru: "Beatrust Scout," yang menemukan kandidat yang cocok dari basis data keterampilan internal perusahaan, dan "Tag Extraction,"
Dipilih sebagai mitra Generative AI MegazoneCloud
24/11/15 4:30
MegazoneCloud (Seoul, Korea Selatan) telah dipilih sebagai anggota awal Generative AI Partner Innovation Alliance yang diluncurkan oleh Amazon Web Services.
Studio51 dan 4AP pameran bersama pameran AI
24/11/15 4:30
Studio51 (Shinjuku-ku, Tokyo) akan memamerkan hasil kolaborasinya dengan 4AP (Musashino-shi, Tokyo) di AI/Artificial Intelligence EXPO yang akan diadakan di Makuhari Messe mulai 20 November 2024.
Copyright © 2024 Generatived - All right Reserved.
Bagikan artikel ini:
Bagikan artikel ini:
Kategori
Berita
AI dan hukum/peraturan/masyarakat
Generatived adalah layanan yang memberikan informasi dan tren khusus dalam AI Generatif. Kami akan melakukan yang terbaik untuk menyampaikan informasi tentang dunia yang berubah dengan cepat.
Generatived adalah layanan yang memberikan informasi dan tren khusus dalam AI Generatif. Kami akan melakukan yang terbaik untuk menyampaikan informasi tentang dunia yang berubah dengan cepat.
Profil perusahaan
Berita terkini
Fungsi baru Beatrust mendukung pencocokan bakat
24/11/15 4:30
Beatrust (Minato-ku, Tokyo) telah menambahkan fitur baru: "Beatrust Scout," yang menemukan kandidat yang cocok dari basis data keterampilan internal perusahaan, dan "Tag Extraction,"
Dipilih sebagai mitra Generative AI MegazoneCloud
24/11/15 4:30
MegazoneCloud (Seoul, Korea Selatan) telah dipilih sebagai anggota awal Generative AI Partner Innovation Alliance yang diluncurkan oleh Amazon Web Services.
Studio51 dan 4AP pameran bersama pameran AI
24/11/15 4:30
Studio51 (Shinjuku-ku, Tokyo) akan memamerkan hasil kolaborasinya dengan 4AP (Musashino-shi, Tokyo) di AI/Artificial Intelligence EXPO yang akan diadakan di Makuhari Messe mulai 20 November 2024.