double-skinned crabsVietnamese crab exporter

AI agent tiêu thụ điện nhiều gấp 137 lần chatbot AI

Một nghiên cứu mới cho thấy AI agent, thế hệ trí tuệ nhân tạo có khả năng tự lập kế hoạch và thực hiện nhiều tác vụ phức tạp, tiêu thụ điện năng cho mỗi truy vấn cao gấp 137 lần chatbot AI truyền thống...

Ảnh minh hoạ.
Ảnh minh hoạ.

Theo nghiên cứu của nhóm chuyên gia thuộc Viện Khoa học và Công nghệ Tiên tiến Hàn Quốc (KAIST), khi AI agent ngày càng được ứng dụng rộng rãi để tự tìm kiếm thông tin, tính toán, điện năng tiêu thụ tại các trung tâm dữ liệu cũng có thể tăng mạnh, tạo thêm áp lực đối với hạ tầng tính toán.

Khác với chatbot AI chỉ phản hồi câu hỏi của người dùng rồi kết thúc phiên tương tác, AI agent được xây dựng trên nền tảng mô hình ngôn ngữ lớn (LLM) nhưng có khả năng tự chia nhỏ nhiệm vụ, lập kế hoạch thực hiện và chủ động sử dụng các công cụ bên ngoài như công cụ tìm kiếm, máy tính hay môi trường thực thi mã để hoàn thành mục tiêu được giao.

Chính khả năng tự phối hợp nhiều bước xử lý đã giúp AI agent nhanh chóng được ứng dụng trong phát triển phần mềm, hỗ trợ nghiên cứu khoa học, phân tích dữ liệu và tự động hóa quy trình làm việc.

Để đánh giá tác động của xu hướng này, nhóm nghiên cứu KAIST đã tiến hành phân tích định lượng chi phí tính toán, thời gian phản hồi, mức tiêu thụ điện năng và nhu cầu năng lượng của các trung tâm dữ liệu khi vận hành AI agent.

Kết quả cho thấy AI agent phải gọi mô hình ngôn ngữ lớn trung bình nhiều hơn 9,2 lần so với phương pháp suy luận từng bước truyền thống. Nguyên nhân là trong quá trình xử lý một yêu cầu, hệ thống liên tục đánh giá lại kết quả, gọi thêm công cụ hỗ trợ và điều chỉnh kế hoạch trước khi đưa ra câu trả lời cuối cùng.

Việc phải thực hiện nhiều vòng suy luận cũng khiến thời gian phản hồi tăng lên. Trong một số trường hợp, AI agent mất thời gian tạo câu trả lời lâu hơn tới 154 lần so với chatbot AI thông thường.

Một phát hiện đáng chú ý khác là trong thời gian AI agent gọi và chờ các công cụ bên ngoài xử lý, bộ xử lý đồ họa (GPU) gần như không thực hiện tính toán trong khoảng 55% tổng thời gian vận hành. Điều này cho thấy hiệu suất sử dụng GPU giảm đáng kể khi khối lượng công việc trở nên phức tạp hơn, làm gia tăng sự lãng phí tài nguyên tính toán.

Sự khác biệt về năng lượng tiêu thụ cũng rõ rệt hơn khi đánh giá trên các mô hình AI quy mô lớn. Với mô hình ngôn ngữ có 70 tỷ tham số, AI agent tiêu thụ trung bình 348 Wh điện cho mỗi truy vấn, cao gấp 137 lần so với chatbot AI truyền thống chỉ thực hiện tác vụ hỏi - đáp.

Theo Giáo sư Yoo Minsoo, nghiên cứu này lần đầu tiên lượng hóa được cái giá phải trả cho sự thông minh ngày càng tăng của AI. "Kết quả cho thấy AI không chỉ trở nên thông minh hơn mà còn đòi hỏi lượng tài nguyên tính toán và năng lượng lớn hơn rất nhiều để vận hành và duy trì khả năng đó", ông nhận định.

Trong bối cảnh các công ty công nghệ đang chạy đua phát triển AI agent có khả năng thay thế con người trong nhiều công việc, tối ưu hiệu quả năng lượng sẽ trở thành yếu tố quan trọng không kém việc nâng cao năng lực của mô hình. Nếu không giải quyết được bài toán này, sự bùng nổ của AI agent có thể khiến nhu cầu điện năng của các trung tâm dữ liệu tăng nhanh hơn nhiều so với dự báo hiện nay.

Sửa Luật Sở hữu trí tuệ: Tạo thuận lợi cho việc đăng ký, xác lập quyền sở hữu trí tuệ

Dự án Luật sửa đổi, bổ sung một số điều của Luật Sở hữu trí tuệ tập trung đơn giản hóa thủ tục hành chính, cắt giảm điều kiện kinh doanh và kiện toàn đầu mối quản lý nhà nước, qua đó tạo thuận lợi hơn cho người dân, doanh nghiệp trong đăng ký, xác lập và bảo vệ quyền sở hữu trí tuệ…

Chính sách công nghệ đã mở, làm sao để doanh nghiệp thụ hưởng?

Các chính sách hỗ trợ đã được ban hành tương đối đầy đủ, song việc truyền thông chính sách vẫn còn hạn chế, thiếu hướng dẫn cụ thể hoặc thủ tục quá phức tạp, khiến doanh nghiệp, nhà khoa học và thị trường chưa tiếp cận được đầy đủ các cơ chế hỗ trợ...

Hàng nghìn chiếc iPhone Duo được bán tại Việt Nam trong sáng nay

Sáng 23/10, các đại lý ủy quyền Apple tại Việt Nam đã chính thức mở bán iPhone Duo đã thu hút sự chú ý từ cộng đồng yêu công nghệ, với hàng nghìn đơn đặt hàng tại các hệ thống bán lẻ lớn như TopZone, CellphoneS, Minh Tuấn Mobile, Di Động Việt, Hoàng Hà Mobile…

Kỳ họp thứ 2, Quốc hội khoá XVI

Kỳ họp thứ 2, Quốc hội khoá XVI

Kỳ họp thứ 2, Quốc hội khoá XVI dự kiến kéo dài 28 ngày bắt đầu từ 17/10/2026. Kỳ họp với khối lượng công việc lớn, dự kiến xem xét, thông qua 43 luật, nghị quyết quy phạm pháp luật và quyết định...

Việt Nam: Khát vọng quốc gia biển mạnh

Việt Nam: Khát vọng quốc gia biển mạnh

Yêu cầu cốt lõi mà Nghị quyết 20 đặt ra là phải biến nước ta từ một quốc gia có biển thành một quốc gia biển mạnh, với kinh tế biển phát triển hiện đại, có năng lực cạnh tranh cao, đồng thời giữ vững...

VnEconomy Interactive

VnEconomy Interactive

Interactive là một sản phẩm báo chí mới của VnEconomy vừa được ra mắt bạn đọc từ đầu tháng 3/2023 đã gây ấn tượng mạnh với độc giả bởi sự mới lạ, độc đáo. Đây cũng là sản phẩm độc quyền chỉ có trên...

VnEconomy
VnEconomy