Inception huy động được 50 triệu USD để xây dựng các mô hình phổ biến mã và văn bản

Với rất nhiều tiền đổ vào các công ty khởi nghiệp AI, đây là thời điểm thích hợp để trở thành một nhà nghiên cứu AI với ý tưởng thử nghiệm. Và nếu ý tưởng đủ mới lạ, bạn có thể dễ dàng có được nguồn lực cần thiết với tư cách là một công ty độc lập thay vì ở một trong những phòng thí nghiệm lớn.

Đó là câu chuyện về Inception, một công ty khởi nghiệp đang phát triển các mô hình AI dựa trên sự lan truyền vừa huy động được 50 triệu đô la tài trợ ban đầu do Menlo Ventures dẫn đầu, với sự tham gia của Mayfield, Innovation Endeavors, Nvidia’s NVentures, quỹ M12 của Microsoft, Snowflake Ventures và Databricks Investment. Andrew Ng và Andrej Karpathy đã cung cấp thêm nguồn tài trợ thiên thần.

Người đứng đầu dự án là giáo sư Stefano Ermon của Stanford, người có nghiên cứu tập trung vào các mô hình khuếch tán – tạo ra kết quả đầu ra thông qua sàng lọc lặp đi lặp lại thay vì từng từ một. Những mô hình này hỗ trợ các hệ thống AI dựa trên hình ảnh như Stable Diffusion, Midjourney và Sora. Đã làm việc trên các hệ thống đó từ trước khi sự bùng nổ AI khiến chúng trở nên thú vị, Ermon đang sử dụng Inception để áp dụng các mô hình tương tự cho nhiều nhiệm vụ hơn.

Cùng với nguồn tài trợ, công ty đã phát hành một phiên bản mới của mẫu Mercury, được thiết kế để phát triển phần mềm. Mercury đã được tích hợp vào một số công cụ phát triển, bao gồm ProxyAI, Buildglare và Kilo Code. Quan trọng nhất, Ermon cho biết phương pháp tiếp cận phổ biến sẽ giúp các mô hình của Inception duy trì được hai chỉ số quan trọng nhất: độ trễ (thời gian phản hồi) và chi phí tính toán.

Ermon nói: “Những LLM dựa trên sự khuếch tán này nhanh hơn và hiệu quả hơn nhiều so với những gì mà mọi người khác đang xây dựng ngày nay”. “Đó chỉ là một cách tiếp cận hoàn toàn khác, trong đó có rất nhiều đổi mới vẫn có thể được đưa ra bàn luận.”

Để hiểu được sự khác biệt về mặt kỹ thuật đòi hỏi một chút kiến ​​thức nền tảng. Các mô hình khuếch tán có cấu trúc khác với các mô hình hồi quy tự động, vốn chiếm ưu thế trong các dịch vụ AI dựa trên văn bản. Các mô hình hồi quy tự động như GPT-5 và Gemini hoạt động tuần tự, dự đoán từng từ hoặc đoạn từ tiếp theo dựa trên tài liệu đã xử lý trước đó. Các mô hình khuếch tán, được đào tạo để tạo hình ảnh, có cách tiếp cận toàn diện hơn, sửa đổi cấu trúc tổng thể của phản hồi dần dần cho đến khi phù hợp với kết quả mong muốn.

Sự khôn ngoan thông thường là sử dụng các mô hình hồi quy tự động cho các ứng dụng văn bản và cách tiếp cận đó đã cực kỳ thành công đối với các thế hệ mô hình AI gần đây. Nhưng ngày càng có nhiều nghiên cứu cho thấy các mô hình khuếch tán có thể hoạt động tốt hơn khi mô hình đang xử lý số lượng lớn văn bản hoặc quản lý các hạn chế về dữ liệu. Như Ermon đã nói, những phẩm chất đó trở thành một lợi thế thực sự khi thực hiện các thao tác trên các cơ sở mã lớn.

Các mô hình phân tán cũng linh hoạt hơn trong cách sử dụng phần cứng, một lợi thế đặc biệt quan trọng khi nhu cầu về cơ sở hạ tầng của AI trở nên rõ ràng. Trong khi các mô hình hồi quy tự động phải thực hiện lần lượt các thao tác, thì mô hình khuếch tán có thể xử lý nhiều thao tác cùng lúc, cho phép độ trễ thấp hơn đáng kể trong các tác vụ phức tạp.

Ermon cho biết: “Chúng tôi đã đạt điểm chuẩn ở mức hơn 1.000 mã thông báo mỗi giây, cao hơn nhiều so với bất kỳ thứ gì có thể đạt được bằng cách sử dụng các công nghệ tự hồi quy hiện có,” bởi vì thứ của chúng tôi được xây dựng để song song. Nó được xây dựng để thực sự rất nhanh.