Chatbots thực sự ấn tượng khi bạn xem họ làm những việc họ giỏi, như viết một email cơ bản hoặc tạo ra những hình ảnh kỳ lạ, trông tương lai. Nhưng yêu cầu AI thế hệ giải quyết một trong những câu đố ở phía sau một tờ báo, và mọi thứ có thể nhanh chóng đi ra khỏi đường ray.
Đó là những gì các nhà nghiên cứu tại Đại học Colorado tại Boulder đã tìm thấy khi họ thách thức các mô hình ngôn ngữ lớn để giải quyết Sudoku. Và thậm chí không phải là các câu đố 9×9 tiêu chuẩn. Một câu đố 6×6 dễ dàng hơn thường vượt quá khả năng của LLM mà không có sự trợ giúp bên ngoài (trong trường hợp này, các công cụ giải quyết câu đố cụ thể).
Một phát hiện quan trọng hơn đã đến khi các mô hình được yêu cầu thể hiện công việc của họ. Đối với hầu hết các phần, họ không thể. Đôi khi họ nói dối. Đôi khi họ giải thích mọi thứ theo những cách không có ý nghĩa. Đôi khi họ ảo giác và bắt đầu nói về thời tiết.
Nếu các công cụ Gen AI không thể giải thích chính xác hoặc minh bạch của họ, điều đó sẽ khiến chúng ta phải thận trọng khi chúng ta cung cấp cho những điều này kiểm soát nhiều hơn đối với cuộc sống và quyết định của chúng ta, Ashutosh Trivingi, một giáo sư khoa học máy tính tại Đại học Colorado tại Boulder và một trong những tác giả của bài báo được công bố vào tháng 7
“Chúng tôi thực sự muốn những lời giải thích đó minh bạch và phản ánh lý do tại sao AI đưa ra quyết định đó, và AI không cố gắng thao túng con người bằng cách đưa ra lời giải thích mà con người có thể thích”, Trivingi nói.
Đừng bỏ lỡ bất kỳ nội dung công nghệ và đánh giá dựa trên phòng thí nghiệm nào của chúng tôi. Thêm CNET Là một nguồn Google ưa thích.
Bài viết là một phần của một cơ quan nghiên cứu ngày càng tăng về hành vi của các mô hình ngôn ngữ lớn. Các nghiên cứu gần đây khác đã tìm thấy, ví dụ, mô hình ảo giác một phần vì các quy trình đào tạo của họ khuyến khích họ tạo ra kết quả mà người dùng sẽ thích, thay vì chính xác hoặc những người sử dụng LLM để giúp họ viết bài luận ít có khả năng nhớ những gì họ đã viết. Khi Gen AI ngày càng trở thành một phần trong cuộc sống hàng ngày của chúng ta, ý nghĩa của cách công nghệ này hoạt động và cách chúng ta cư xử khi sử dụng nó trở nên cực kỳ quan trọng.
Khi bạn đưa ra quyết định, bạn có thể cố gắng biện minh cho nó, hoặc ít nhất là giải thích cách bạn đến với nó. Một mô hình AI có thể không thể thực hiện chính xác hoặc minh bạch như vậy. Bạn có tin tưởng nó không?
Xem cái này: Tôi đã xây dựng một máy tính AI từ đầu
Tại sao LLM phải vật lộn với Sudoku
Chúng tôi đã thấy các mô hình AI thất bại tại các trò chơi và câu đố cơ bản trước đây. Nhà thờ của Openai (trong số những người khác) đã hoàn toàn bị đối thủ máy tính nghiền nát trong một trò chơi Atari năm 1979. Một bài báo nghiên cứu gần đây từ Apple cho thấy các mô hình có thể đấu tranh với các câu đố khác, như Tháp Hà Nội.
Nó phải làm với cách LLM làm việc và điền vào khoảng trống trong thông tin. Những mô hình này cố gắng hoàn thành những khoảng trống đó dựa trên những gì xảy ra trong các trường hợp tương tự trong dữ liệu đào tạo của họ hoặc những thứ khác mà họ đã thấy trong quá khứ. Với một sudoku, câu hỏi là một trong những logic. AI có thể cố gắng lấp đầy từng khoảng trống theo thứ tự, dựa trên những gì có vẻ như là một câu trả lời hợp lý, nhưng để giải quyết đúng, thay vào đó, nó phải nhìn vào toàn bộ bức tranh và tìm ra một thứ tự hợp lý thay đổi từ câu đố sang câu đố.
Đọc thêm: 29 cách bạn có thể làm cho Gen AI hoạt động cho bạn, theo các chuyên gia của chúng tôi
Chatbots là xấu trong cờ vua vì một lý do tương tự. Họ tìm thấy những động tác tiếp theo hợp lý nhưng không nhất thiết phải nghĩ ba, bốn hoặc năm bước đi phía trước – kỹ năng cơ bản cần thiết để chơi cờ vua tốt. Chatbots đôi khi cũng có xu hướng di chuyển các mảnh cờ theo những cách không thực sự tuân theo các quy tắc hoặc đặt các mảnh trong tình trạng nguy hiểm vô nghĩa.
Bạn có thể mong đợi LLM có thể giải quyết Sudoku vì chúng là máy tính và câu đố bao gồm các số, nhưng bản thân các câu đố không thực sự là toán học; Chúng là biểu tượng. “Sudoku nổi tiếng là một câu đố với những con số có thể được thực hiện với bất cứ điều gì không phải là số”, Fabio Somenzi, giáo sư tại CU và là một trong những tác giả của tài liệu nghiên cứu cho biết.
Tôi đã sử dụng một lời nhắc mẫu từ bài báo của các nhà nghiên cứu và đưa nó cho Chatgpt. Công cụ này cho thấy công việc của nó, và liên tục nói với tôi rằng nó có câu trả lời trước khi hiển thị một câu đố không hoạt động, sau đó quay lại và sửa nó. Nó giống như bot đang chuyển thành một bài thuyết trình liên tục nhận được các chỉnh sửa thứ hai cuối cùng: đây là câu trả lời cuối cùng. Không, thực sự, đừng bận tâm, cái này là câu trả lời cuối cùng. Cuối cùng, nó đã nhận được câu trả lời, thông qua thử nghiệm và lỗi. Nhưng thử nghiệm và lỗi không phải là một cách thực tế để một người giải quyết một sudoku trên báo. Đó là quá nhiều việc xóa bỏ và hủy hoại niềm vui.
AI và robot có thể giỏi các trò chơi nếu chúng được xây dựng để chơi chúng, nhưng các công cụ đa năng như các mô hình ngôn ngữ lớn có thể đấu tranh với các câu đố logic.
AI đấu tranh để thể hiện công việc của nó
Các nhà nghiên cứu ở Colorado không chỉ muốn xem liệu các bot có thể giải các câu đố hay không. Họ yêu cầu giải thích về cách các bot làm việc thông qua họ. Mọi thứ không diễn ra tốt đẹp.
Thử nghiệm mô hình lý luận O1 Preview của Openai, các nhà nghiên cứu đã thấy rằng các giải thích-ngay cả đối với các câu đố được giải quyết chính xác-đã không giải thích chính xác hoặc biện minh cho các động thái của họ và có các thuật ngữ cơ bản sai.
“Một điều họ giỏi là đưa ra những lời giải thích có vẻ hợp lý”, Maria Pacheco, một giáo sư trợ lý khoa học máy tính tại CU cho biết. “Họ phù hợp với con người, vì vậy họ học cách nói như chúng ta thích, nhưng liệu họ có trung thành với những bước thực tế cần thiết để giải quyết vấn đề này là nơi chúng ta đang vật lộn một chút.”
Đôi khi, các giải thích là hoàn toàn không liên quan. Kể từ khi công việc của bài báo kết thúc, các nhà nghiên cứu đã tiếp tục thử nghiệm các mô hình mới được phát hành. Somenzi nói rằng khi anh và Trivingi đang điều hành mô hình lý luận O4 của Openai thông qua các bài kiểm tra tương tự, tại một thời điểm, nó dường như từ bỏ hoàn toàn.
“Câu hỏi tiếp theo mà chúng tôi đã hỏi, câu trả lời là dự báo thời tiết cho Denver,” ông nói.
.
Giải thích bản thân là một kỹ năng quan trọng
Khi bạn giải một câu đố, bạn gần như chắc chắn có thể đưa người khác vượt qua suy nghĩ của bạn. Thực tế là các LLM này đã thất bại một cách ngoạn mục trong công việc cơ bản đó không phải là một vấn đề tầm thường. Với các công ty AI liên tục nói về “các đại lý AI” có thể thay mặt bạn hành động, việc có thể giải thích bản thân là điều cần thiết.
Xem xét các loại công việc được trao cho AI ngay bây giờ, hoặc được lên kế hoạch trong tương lai gần: lái xe, thực hiện thuế, quyết định chiến lược kinh doanh và dịch các tài liệu quan trọng. Hãy tưởng tượng những gì sẽ xảy ra nếu bạn, một người, đã làm một trong những điều đó và có điều gì đó không ổn.
“Khi con người phải đặt mặt trước các quyết định của họ, họ tốt hơn có thể giải thích những gì dẫn đến quyết định đó”, Somenzi nói.
Đó không chỉ là vấn đề nhận được một câu trả lời hợp lý. Nó cần phải chính xác. Một ngày nọ, lời giải thích của một AI có thể phải giữ tại tòa án, nhưng làm thế nào lời khai của nó có thể được thực hiện nghiêm túc nếu nó được biết là nói dối? Bạn sẽ không tin tưởng một người không giải thích được, và bạn cũng sẽ không tin ai đó mà bạn tìm thấy là nói những gì bạn muốn nghe thay vì sự thật.
“Có một lời giải thích rất gần với thao túng nếu nó được thực hiện vì lý do sai,” Trivingi nói. “Chúng tôi phải rất cẩn thận đối với sự minh bạch của những giải thích này.”
