Là những ưu đãi xấu để đổ lỗi cho ảo giác AI?

Một bài báo nghiên cứu mới từ Openai hỏi tại sao các mô hình ngôn ngữ lớn như GPT-5 và chatbot như Chatgpt vẫn còn ảo giác, và liệu có thể làm gì để giảm ảo giác đó không.

Trong một bài đăng trên blog tóm tắt bài báo, Openai định nghĩa ảo giác là những tuyên bố hợp lý nhưng sai được tạo ra bởi các mô hình ngôn ngữ, và nó thừa nhận rằng mặc dù đã cải thiện, ảo giác vẫn là một thách thức cơ bản cho tất cả các mô hình ngôn ngữ lớn – một điều sẽ không bao giờ được loại bỏ hoàn toàn.

Để minh họa cho quan điểm, các nhà nghiên cứu nói rằng khi họ hỏi về một chatbot được sử dụng rộng rãi về tiêu đề của tiến sĩ Adam Tauman Kalai. Luận án, họ có ba câu trả lời khác nhau, tất cả đều sai. (Kalai là một trong những tác giả của tờ giấy.) Sau đó họ hỏi về ngày sinh nhật của anh ấy và nhận được ba ngày khác nhau. Một lần nữa, tất cả trong số họ đã sai.

Làm thế nào một chatbot có thể sai như vậy – và âm thanh rất tự tin vào sự sai trái của nó? Các nhà nghiên cứu cho rằng ảo giác phát sinh, một phần, vì một quá trình xử lý trước khi tập trung vào việc có được các mô hình để dự đoán chính xác từ tiếp theo, không có nhãn đúng hoặc sai gắn liền với các tuyên bố đào tạo: Mô hình chỉ thấy các ví dụ tích cực về ngôn ngữ thông thạo và phải gần đúng với phân phối tổng thể.

Chính tả và dấu ngoặc đơn theo các mẫu nhất quán, vì vậy các lỗi ở đó biến mất theo quy mô, họ viết. Tuy nhiên, những sự thật tần số thấp tùy ý, như sinh nhật của thú cưng, không thể được dự đoán từ các mẫu và do đó dẫn đến ảo giác.

Tuy nhiên, giải pháp đề xuất của bài báo ít tập trung vào quá trình xử lý trước ban đầu và nhiều hơn về cách đánh giá các mô hình ngôn ngữ lớn. Nó lập luận rằng các mô hình đánh giá hiện tại không gây ra ảo giác, nhưng họ đã thiết lập các ưu đãi sai.

Các nhà nghiên cứu so sánh các đánh giá này với loại thử nghiệm trắc nghiệm lựa chọn đoán ngẫu nhiên có ý nghĩa, bởi vì bạn có thể gặp may mắn và đúng, trong khi để lại câu trả lời trống đảm bảo số không.

Theo cách tương tự, khi các mô hình chỉ được xếp loại về độ chính xác, tỷ lệ phần trăm câu hỏi mà họ nhận được chính xác, họ được khuyến khích đoán thay vì nói ‘Tôi không biết’, họ nói.

Giải pháp được đề xuất, sau đó, tương tự như các thử nghiệm (như SAT) bao gồm cả âm tính [scoring] Đối với câu trả lời sai hoặc tín dụng một phần để để lại các câu hỏi để không khuyến khích đoán mù. Tương tự, Openai cho biết các đánh giá mô hình cần phải xử phạt các lỗi tự tin nhiều hơn bạn phạt sự không chắc chắn và cung cấp tín dụng một phần cho các biểu hiện không chắc chắn phù hợp.

Và các nhà nghiên cứu lập luận rằng việc giới thiệu một vài bài kiểm tra không chắc chắn mới là không đủ. Thay vào đó, các eval được sử dụng rộng rãi, dựa trên độ chính xác cần được cập nhật để việc ghi điểm của họ không khuyến khích đoán.

Các nhà nghiên cứu cho biết, nếu các nhà nghiên cứu nói.