Think Machines Lab muốn làm cho các mô hình AI phù hợp hơn

Có rất nhiều sự quan tâm đến những gì Machines Machines Lab đang xây dựng với khoản tài trợ hạt giống trị giá 2 tỷ đô la và nhóm các nhà nghiên cứu Openai cũ đã gia nhập phòng thí nghiệm. Trong một bài đăng trên blog được xuất bản vào thứ Tư, phòng thí nghiệm nghiên cứu của Murati đã cho thế giới cái nhìn đầu tiên về một trong những dự án của nó: tạo ra các mô hình AI với các phản hồi có thể tái tạo.

Bài đăng trên blog nghiên cứu, có tựa đề là đánh bại chủ nghĩa không phải là chủ nghĩa không quan trọng trong LLM, cố gắng giải nén nguyên nhân gốc rễ của những gì đưa ra sự ngẫu nhiên trong các phản ứng mô hình AI. Ví dụ: hỏi Chatgpt cùng một câu hỏi một vài lần và bạn có thể sẽ nhận được một loạt các câu trả lời. Điều này phần lớn đã được chấp nhận trong cộng đồng AI như một thực tế-các mô hình AI ngày nay được coi là các hệ thống không xác định, nhưng suy nghĩ của Machines Lab coi đây là một vấn đề có thể giải quyết được.

Bài đăng, được tác giả bởi suy nghĩ của nhà nghiên cứu phòng thí nghiệm Horace, lập luận rằng nguyên nhân gốc rễ của sự ngẫu nhiên của các mô hình AI là cách các hạt nhân GPU – các chương trình nhỏ chạy bên trong các chip máy tính của NVIDIA – được ghép lại với nhau trong quá trình xử lý suy luận (mọi thứ xảy ra sau khi bạn nhấn ENTER IN IN TATNGPT). Ông gợi ý rằng bằng cách kiểm soát cẩn thận lớp phối hợp này, có thể làm cho các mô hình AI quyết định hơn.

Ngoài việc tạo ra các phản ứng đáng tin cậy hơn cho các doanh nghiệp và nhà khoa học, ông lưu ý rằng việc có được các mô hình AI để tạo ra các phản ứng có thể tái tạo cũng có thể cải thiện đào tạo học tập củng cố (RL). RL là quá trình thưởng cho các mô hình AI cho câu trả lời chính xác, nhưng nếu câu trả lời đều hơi khác nhau, thì dữ liệu sẽ hơi ồn. Việc tạo ra các phản hồi mô hình AI nhất quán hơn có thể làm cho toàn bộ quá trình RL mượt mà hơn, theo ông. Suy nghĩ Machines Lab đã nói với các nhà đầu tư rằng họ có kế hoạch sử dụng RL để tùy chỉnh các mô hình AI cho các doanh nghiệp, thông tin đã báo cáo trước đây.

Murati, cựu giám đốc công nghệ của Openai, cho biết vào tháng 7 rằng sản phẩm đầu tiên của Think Machines Lab sẽ được công bố trong những tháng tới, và nó sẽ hữu ích cho các nhà nghiên cứu và khởi nghiệp phát triển các mô hình tùy chỉnh. Hiện vẫn chưa rõ sản phẩm đó là gì, hoặc liệu nó sẽ sử dụng các kỹ thuật từ nghiên cứu này để tạo ra các phản ứng có thể tái tạo hơn.

Tư tưởng Machines Lab cũng đã nói rằng họ có kế hoạch xuất bản thường xuyên các bài đăng trên blog, mã và thông tin khác về nghiên cứu của mình trong nỗ lực để có lợi cho công chúng, nhưng cũng cải thiện văn hóa nghiên cứu của chúng ta. Bài đăng này, bài đầu tiên trong loạt blog mới của công ty có tên là Kết nối, dường như là một phần của nỗ lực đó. Openai cũng đã cam kết nghiên cứu mở khi nó được thành lập, nhưng công ty đã trở nên khép kín hơn khi nó trở nên lớn hơn. Chúng tôi sẽ xem liệu phòng thí nghiệm nghiên cứu của Murati có đúng với yêu cầu này không.

Blog nghiên cứu cung cấp một cái nhìn hiếm hoi bên trong một trong những công ty khởi nghiệp AI bí mật nhất của Thung lũng Silicon. Mặc dù nó không tiết lộ chính xác nơi công nghệ đang diễn ra, nhưng nó chỉ ra rằng suy nghĩ của Machines Lab đang giải quyết một số câu hỏi lớn nhất trên biên giới của nghiên cứu AI. Thử nghiệm thực sự là liệu phòng thí nghiệm suy nghĩ có thể giải quyết các vấn đề này hay không và tạo ra các sản phẩm xung quanh nghiên cứu của mình để biện minh cho việc định giá 12 tỷ đô la của nó.