Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Viettel Solutions đã có những đóng góp đáng kể vào việc nâng cao khả năng AI cho tiếng Việt với NVIDIA NeMo Curator. Công cụ này đã giúp tạo ra các tập dữ liệu chất lượng cao để đào tạo Llama 3 cho ViettelSolution 8B, một mô hình ngôn ngữ tiên tiến. Bằng cách biên tập một tập dữ liệu mở rộng, Viettel Solutions đã cải thiện độ chính xác của mô hình, giảm thời gian đào tạo và giảm đáng kể kích thước của tập dữ liệu.

Quá trình bắt đầu bằng việc thu thập nhiều dữ liệu văn bản tiếng Việt từ nhiều nguồn, bao gồm dữ liệu thu thập trên web và Wikipedia. Sau đó, dữ liệu này được chuẩn hóa và định dạng để đảm bảo tính nhất quán. Viettel Solutions đã tinh chỉnh tập dữ liệu bằng nhiều kỹ thuật biên tập dữ liệu khác nhau, bao gồm định dạng lại Unicode và loại bỏ trùng lặp chính xác. Các bước này rất quan trọng để đảm bảo tính duy nhất và chất lượng của dữ liệu đào tạo.

Để cải thiện hơn nữa chất lượng của tập dữ liệu, các phương pháp lọc dựa trên phương pháp tìm kiếm và phân loại cũng đã được áp dụng. Các bộ lọc này giúp loại bỏ nội dung chất lượng thấp và tinh chỉnh dữ liệu dựa trên các mẫu phức tạp có thể bị bỏ qua bởi các quy tắc đơn giản. Kết quả là một tập dữ liệu có độ dài văn bản và số lượng mã thông báo phân bổ đều hơn, với việc giảm đáng kể các giá trị ngoại lai và dữ liệu nhiễu.

Những nỗ lực của Viettel Solutions không chỉ cải thiện hiệu suất mô hình ngôn ngữ mà còn duy trì tính đa dạng của tập dữ liệu, điều này rất cần thiết để xây dựng các mô hình ngôn ngữ đa năng, có mục đích chung. Sự hợp tác của công ty với NVIDIA và việc sử dụng NeMo Curator chứng minh tiềm năng của AI trong việc đáp ứng nhu cầu ngôn ngữ cụ thể của các quốc gia không nói tiếng Anh và đảm bảo trải nghiệm khách hàng toàn diện và có tác động hơn.