CentML - công ty xây dựng phần mềm giúp hệ thống máy học hoạt động hiệu quả hơn - đã huy động được 27 triệu USD từ các nhà đầu tư, bao gồm cả Nvidia và quỹ đầu tư mạo hiểm Gradient Ventures và Radical Ventures của Google. Ngoài ra, Deloitte Ventures và Thomson Reuters Ventures cũng tham gia tài trợ.
Công ty khởi nghiệp CentML nhằm mục đích giải quyết một trong những điểm nghẽn lớn nhất trong quá trình phát triển AI là tình trạng thiếu bộ xử lý đồ họa của Nvidia và trong việc xử lý lượng dữ liệu khổng lồ cần thiết để đào tạo và chạy các hệ thống AI.
Microsoft đang phải đối mặt với tình trạng thiếu phần cứng máy chủ cần thiết để chạy AI nghiêm trọng đến mức có thể dẫn đến gián đoạn dịch vụ. Trong khi chip AI hoạt động tốt nhất của Nvidia được cho là đã bán hết cho đến năm 2024.
CentML được thành lập vào năm ngoái bởi Gennady Pekhimenko, tiến sĩ khoa học máy tính tại Đại học Carnegie Mellon, hiện là phó giáo sư tại khoa khoa học máy tính của Đại học Toronto.
Tiến sĩ Pekhimenko và ba người khác đã xây dựng phần mềm giúp dự đoán thời gian xử lý các tác vụ bằng các loại phần cứng khác nhau. Thông qua giám sát các hệ thống để xác định các khu vực không được sử dụng đúng mức - phân tích chi phí, mức tiêu thụ điện năng và lượng khí thải - sau đó tự động phân bổ các nhiệm vụ để thử và tăng tốc chúng.
Điều đó sẽ giúp tối đa hóa việc sử dụng chip và tiết kiệm chi phí. CentML cho biết, mức sử dụng trung bình GPU trên toàn thị trường là khoảng 30%. Theo tiến sĩ Pekhimenko, công nghệ mới có thể tăng tốc hệ thống “lên tới 8 lần, điều này có tác động sâu sắc đến khách hàng của chúng tôi”.
Hầu hết các mô hình đào tạo của công ty, đặc biệt là các mô hình AI tạo sinh như ChatGPT và Stable Diffusion đều phụ thuộc rất nhiều vào phần cứng dựa trên GPU. Khả năng thực hiện nhiều phép tính song song của GPU khiến chúng rất phù hợp để đào tạo AI có khả năng nhất hiện nay.
“Quy mô của các mô hình AI đã tăng 10 lần mỗi năm trong thập kỷ qua và khoảng cách giữa tính toán và quy mô của mô hình ngày càng tăng. Có một sự tuyệt vọng về máy tính và các nhà sản xuất chip vì không thể cung cấp nó đủ nhanh”, Tiến sĩ Gennady Pekhimenkob cho biết.
Đầu tư vào AI đang tăng mạnh trên toàn cầu. Theo dữ liệu của PitchBook tổng hợp cho Bloomberg, giá trị tài trợ cho các công ty AI trên toàn cầu đã tăng 27% trên toàn cầu trong quý III so với cùng kỳ năm trước, ngay cả khi tổng giao dịch dành cho các công ty khởi nghiệp đã giảm 31% trong quý III so với một năm trước.
“Chi phí cho máy học, sự thiếu hụt nhân tài và chip… bất kỳ công ty AI và máy học nào cũng phải đối mặt với ít nhất một trong những thách thức này và hầu hết đều phải đối mặt với một số thách thức cùng một lúc. Các loại chip cao cấp nhất thường không có sẵn do nhu cầu lớn từ các doanh nghiệp cũng như các công ty khởi nghiệp. Điều này dẫn đến việc các công ty phải hy sinh quy mô của mô hình mà họ có thể triển khai hoặc dẫn đến độ trễ suy luận cao hơn cho các mô hình đã triển khai”, Tiến sĩ Gennady Pekhimenkob cho biết.