Meta mở công khai mô hình ngôn ngữ lớn AI

Chia sẻ trên blog, Meta, công ty mẹ của Facebook, hi vọng việc phát hành mở mô hình Open Pretrained Transformer (OPT-175B) - mô hình ngôn ngữ có đến 175 tỉ tham số - sẽ giúp ích cho các nhà nghiên cứu hiểu và vận dụng tốt cách hoạt động của các mô hình ngôn ngữ lớn.

Mô hình ngôn ngữ lớn là các hệ thống xử lý ngôn ngữ tự nhiên (NLP) – một nhánh nghiên cứu của AI – được huấn luyện dựa trên khối lượng văn bản khổng lồ và có khả năng trả lời các câu hỏi đọc hiểu hoặc tạo văn bản mới. Meta cho biết, việc mở quyền truy cập mô hình OPT-175B sẽ giúp các nhà nghiên cứu hiểu thêm về cách thức hoạt động của các mô hình ngôn ngữ lớn.

Theo gã khổng lồ công nghệ Mỹ, việc hạn chế truy cập vào các mô hình này đã cản trở tiến bộ trong nỗ lực cải thiện sức mạnh của chúng và giảm nhẹ một số vấn đề đã được biết đến như sự thiên vị (về chủng tộc và giới tính) và các tác hại có thể lan truyền thông qua mô hình. Bằng cách công khai OPT-175B, Meta hy vọng sẽ có thêm các luồng ý kiến đóng góp về mặt đạo đức cho công nghệ này.

Đối tượng được quyền truy cập vào mô hình, theo Meta, sẽ bao gồm các nhà nghiên cứu hàn lâm có liên kết với chính phủ, xã hội dân sự hay các tổ chức học thuật; và các phòng thí nghiệm nghiên cứu trong ngành. Bên cạnh các mô hình đã được đào tạo trước, Meta sẽ cung cấp mã nguồn để các nhà nghiên cứu, lập trình viên có thể sử dụng chúng dễ dàng hơn.