top of page

Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

logo.png

NVIDIA và Mistral AI phát hành Mistral-NeMo-Minitron 8B

Generatived

24/8/23 9:00

NVIDIA và Mistral AI gần đây đã công bố Mistral NeMo 12B, một mô hình ngôn ngữ quy mô lớn (LLM) đặt ra các tiêu chuẩn mới về hiệu suất trên nhiều tiêu chuẩn khác nhau. Dựa trên thành công này, các công ty đã công bố phát hành Mistral-NeMo-Minitron 8B, một mô hình truy cập mở tiên tiến với độ chính xác tốt nhất trong chín tiêu chuẩn chính. Mistral-NeMo-Minitron 8B được phát triển bằng kỹ thuật gọi là cắt tỉa chiều rộng của Mistral NeMo 12B lớn hơn, sau đó là quy trình đào tạo lại bằng cách chắt lọc kiến ​​thức. Phương pháp này đã được xác thực trên các model trước đó như NVIDIA Minitron 8B và 4B, Llama-3.1-Minitron 4B.

Quá trình cắt tỉa và chắt lọc mô hình làm giảm kích thước của mô hình để làm cho nó hiệu quả hơn mà không ảnh hưởng đáng kể đến khả năng dự đoán của nó. Mô hình Mistral-NeMo-Minitron 8B được tạo ra bằng cách giảm có chọn lọc chiều rộng của mô hình ban đầu và sau đó áp dụng chế độ luyện tập lại ánh sáng. Cách tiếp cận này đã được chứng minh là hiệu quả và tiết kiệm chi phí, cho phép tạo ra các mô hình nhỏ hơn nhưng vẫn duy trì chất lượng cao so với các mô hình được đào tạo từ đầu.

Trong môi trường cạnh tranh LLM, Mistral-NeMo-Minitron 8B nổi bật nhờ các chỉ số hiệu suất vượt trội. Độ chính xác của mô hình này được nêu bật trong bảng so sánh và luôn vượt trội so với các mô hình khác có kích thước tương tự, chẳng hạn như Gemma 7B và Llama-3.1 8B. Bảng này cho thấy hiệu suất tuyệt vời của mô hình trên nhiều tiêu chuẩn khác nhau, với những con số in đậm biểu thị điểm số cao nhất trong lớp mô hình 8B.

Việc phát hành Mistral-NeMo-Minitron 8B là một bước quan trọng trong quá trình phát triển các mô hình ngôn ngữ. Điều này không chỉ thể hiện tính hiệu quả của việc giảm trọng lượng có cấu trúc kết hợp với chắt lọc kiến ​​thức mà còn đặt nền tảng cho những tiến bộ trong tương lai trong lĩnh vực này. Công nghệ được sử dụng để phát triển mô hình này sẽ được tích hợp vào khung NVIDIA NeMo dành cho Generative AI, dự kiến ​​sẽ nâng cao hơn nữa khả năng của công nghệ xử lý ngôn ngữ. nước xốt:

Chia sẻ bài viết này:

Tin tức mới nhất
Skyline Capital công bố ra mắt nền tảng tài chính do AI điều khiển

Skyline Capital công bố ra mắt nền tảng tài chính do AI điều khiển

24/11/14 4:30

Skyline Capital đã ra mắt một nền tảng tài chính ứng dụng AI, được thiết lập để định hình lại ngành tài chính.

SoftBank công bố AI vRAN Orchestrator sử dụng công nghệ NVIDIA

SoftBank công bố AI vRAN Orchestrator sử dụng công nghệ NVIDIA

24/11/14 4:30

SoftBank đã công bố một công cụ điều phối được thiết kế để tạo điều kiện thuận lợi cho hoạt động của các ứng dụng AI và vRAN trên cơ sở hạ tầng ảo hóa dùng chung, một khái niệm trung tâm của AI-RAN.

TetraScience và NVIDIA thúc đẩy khoa học đời sống bằng AI

TetraScience và NVIDIA thúc đẩy khoa học đời sống bằng AI

24/11/14 4:30

TetraScience đã hình thành quan hệ đối tác chiến lược với NVIDIA để thúc đẩy ngành khoa học đời sống, có giá trị khoảng 1,5 nghìn tỷ đô la, bằng cách giới thiệu tiêu chuẩn hóa và khả năng mở rộng trong ứng dụng AI khoa học.

UKG Ready Powers HR Suite cho sự phát triển kinh doanh

UKG Ready Powers HR Suite cho sự phát triển kinh doanh

24/11/14 4:30

UKG vừa công bố các bản cập nhật cho bộ giải pháp UKG Ready HR nhằm cải thiện tính thông minh và dễ sử dụng.

Copyright © 2024 Generatived - All right Reserved.

Chia sẻ bài viết này:

Chia sẻ bài viết này:

Generatived

Generatived là dịch vụ cung cấp thông tin và xu hướng chuyên về Generative AI. Chúng tôi sẽ cố gắng hết sức để cung cấp thông tin về thế giới đang thay đổi nhanh chóng.

  • Facebook
  • X

Hãy theo dõi chúng tôi

Ngôn ngữ

Tin tức mới nhất
Skyline Capital công bố ra mắt nền tảng tài chính do AI điều khiển

Skyline Capital công bố ra mắt nền tảng tài chính do AI điều khiển

24/11/14 4:30

Skyline Capital đã ra mắt một nền tảng tài chính ứng dụng AI, được thiết lập để định hình lại ngành tài chính.

SoftBank công bố AI vRAN Orchestrator sử dụng công nghệ NVIDIA

SoftBank công bố AI vRAN Orchestrator sử dụng công nghệ NVIDIA

24/11/14 4:30

SoftBank đã công bố một công cụ điều phối được thiết kế để tạo điều kiện thuận lợi cho hoạt động của các ứng dụng AI và vRAN trên cơ sở hạ tầng ảo hóa dùng chung, một khái niệm trung tâm của AI-RAN.

TetraScience và NVIDIA thúc đẩy khoa học đời sống bằng AI

TetraScience và NVIDIA thúc đẩy khoa học đời sống bằng AI

24/11/14 4:30

TetraScience đã hình thành quan hệ đối tác chiến lược với NVIDIA để thúc đẩy ngành khoa học đời sống, có giá trị khoảng 1,5 nghìn tỷ đô la, bằng cách giới thiệu tiêu chuẩn hóa và khả năng mở rộng trong ứng dụng AI khoa học.

UKG Ready Powers HR Suite cho sự phát triển kinh doanh

UKG Ready Powers HR Suite cho sự phát triển kinh doanh

24/11/14 4:30

UKG vừa công bố các bản cập nhật cho bộ giải pháp UKG Ready HR nhằm cải thiện tính thông minh và dễ sử dụng.

bottom of page