ChatGPT có thể tiêu tốn 700.000 USD mỗi ngày

"ChatGPT yêu cầu sức mạnh tính toán lớn để phản hồi dựa trên tương tác của người dùng", Dylan Patel, nhà phân tích của công ty nghiên cứu chất bán dẫn SemiAnalysis nói với The Information. "Hầu hết chi phí là từ các máy chủ đắt tiền mà họ đang sử dụng".

Trong cuộc gọi điện thoại với trang Insider, Dylan Patel cho biết, việc OpenAI vận hành ChatGPT bây giờ thậm chí còn tốn kém hơn, vì ước tính ban đầu của ông dựa trên mô hình GPT-3. GPT-4, mô hình mới nhất của OpenAI, thậm chí còn hao tốn tiền bạc hơn để chạy, Dylan Patel nói.

OpenAI chưa đưa ra bình luận.

Nick Walton, CEO của Latitude cho biết, từng sử dụng GPT để tạo cốt truyện cho game Dungeon. Việc chạy mô hình này trên game kết hợp máy chủ Amazon Web Services khiến công ty phải trả 200.000 USD cho hàng triệu truy vấn mỗi tháng vào năm 2021, theo CNBC.

Chi phí cao là lý do Nick Walton cho biết, ông quyết định chuyển sang một nhà cung cấp phần mềm ngôn ngữ được hỗ trợ bởi AI21 Labs. Điều này đã cắt giảm một nửa chi phí AI của Latitude xuống còn 100.000 USD mỗi tháng.

Tính đến tháng 2, ChatGPT đã có hơn 100 triệu người dùng và chi phí vận hành được cho là đã tăng lên nhiều lần.

Hồi tháng 2, Google xác nhận sẽ tốn hàng tỷ USD để vận hành Bard như một công cụ tìm kiếm. "Mỗi truy vấn trên AI như chatbot Bard có thể khiến công ty tốn phí gấp 10 lần so với tìm kiếm thông tin bằng từ khóa trên Google Search", John Hennessy, Chủ tịch Alphabet - công ty mẹ của Google nói với Reuters. "Nguyên nhân là tìm kiếm qua mô hình ngôn ngữ lớn đòi hỏi nhiều sức mạnh tính toán và điện năng tiêu thụ".

Ông Hennessy cũng nhấn mạnh, chi phí cho AI có thể giảm theo thời gian nếu được tinh chỉnh và tối ưu hóa về hiệu năng. Tuy vậy, quá trình này sẽ cần nhiều năm để hoàn thiện, từ sức mạnh chip xử lý, lượng dữ liệu để đào tạo AI đến khả năng vận hành và năng lượng.

Microsoft đang phát triển chip AI bí mật

Trong nỗ lực giảm chi phí chạy các mô hình generative AI, Microsoft đang phát triển chip AI có tên Athena, theo trang The Information. Dự án bắt đầu vào năm 2019, diễn ra nhiều năm sau khi Microsoft thực hiện thỏa thuận trị giá 1 tỉ USD với OpenAI, yêu cầu công ty khởi nghiệp có trụ sở ở thành phố San Francisco (Mỹ) chạy các mô hình của mình độc quyền trên máy chủ đám mây Microsoft Azure.

Ý tưởng đằng sau việc phát triển chip của Microsoft liên quan đến hai vấn đề. Đầu tiên là Ban lãnh đạo Microsoft nhận thấy, họ đang tụt lại phía sau Google và Amazon trong tham vọng tự xây dựng chip riêng. Bên cạnh đó, hãng cũng được cho là muốn tìm giải pháp thay thế rẻ hơn để vận hành các hệ thống AI thay vì dùng bộ xử lý đồ họa từ Nvidia.

Gần 4 năm sau, hơn 300 nhân viên Microsoft đang làm việc trên chip này, The Information đưa tin. Athena có thể được phát hành để sử dụng nội bộ bởi Microsoft và OpenAI vào đầu năm tới, hai nguồn tin quen thuộc với vấn đề này nói với The Information.

Microsoft từ chối bình luận khi được trang Insider liên hệ.

Đến nay, việc đầu tư vào OpenAI vẫn được đánh giá là bước đi đúng đắn của Microsoft. Sau một tỷ USD đầu tiên, công ty đang rót thêm 10 tỷ USD và gần như trở thành "đại lý độc quyền" khai thác sức mạnh tính toán, giao diện lập trình, sản phẩm và nghiên cứu của OpenAI. Hãng đã đưa ChatGPT và Dall-E vào trình duyệt Edge, công cụ tìm kiếm Bing, ứng dụng văn phòng Microsoft 365.