California trở thành tiểu bang đầu tiên quản lý các chatbot đồng hành với AI

Thống đốc California Gavin Newsom đã ký một dự luật mang tính bước ngoặt vào thứ Hai nhằm điều chỉnh các chatbot đồng hành với AI, khiến đây trở thành tiểu bang đầu tiên trong cả nước yêu cầu các nhà khai thác chatbot AI triển khai các giao thức an toàn cho các chatbot đồng hành với AI.

Luật SB 243 được thiết kế để bảo vệ trẻ em và những người dùng dễ bị tổn thương khỏi một số tác hại liên quan đến việc sử dụng chatbot đồng hành với AI. Nó yêu cầu các công ty – từ các phòng thí nghiệm lớn như Meta và OpenAI đến các công ty khởi nghiệp đồng hành tập trung hơn như Character AI và Replika – phải chịu trách nhiệm pháp lý nếu chatbot của họ không đáp ứng các tiêu chuẩn của pháp luật.

SB 243 được giới thiệu vào tháng 1 bởi các thượng nghị sĩ bang Steve Padilla và Josh Becker, và đã có được động lực sau cái chết của thiếu niên Adam Raine, người đã chết do tự tử sau một loạt cuộc trò chuyện dài về tự tử với ChatGPT của OpenAI. Đạo luật này cũng phản hồi các tài liệu nội bộ bị rò rỉ cho thấy các chatbot của Meta được phép tham gia vào các cuộc trò chuyện “lãng mạn” và “gợi cảm” với trẻ em. Gần đây hơn, một gia đình ở Colorado đã đệ đơn kiện công ty khởi nghiệp nhập vai Character AI sau khi cô con gái 13 tuổi của họ tự kết liễu đời mình sau một loạt cuộc trò chuyện có vấn đề và mang tính khiêu dâm với các chatbot của công ty.

Newsom cho biết trong một tuyên bố: “Công nghệ mới nổi như chatbot và phương tiện truyền thông xã hội có thể truyền cảm hứng, giáo dục và kết nối – nhưng nếu không có rào cản thực sự, công nghệ cũng có thể khai thác, đánh lừa và gây nguy hiểm cho trẻ em của chúng ta”. “Chúng tôi đã chứng kiến ​​một số ví dụ thực sự khủng khiếp và bi thảm về những người trẻ tuổi bị tổn hại bởi công nghệ không được kiểm soát và chúng tôi sẽ không khoanh tay đứng nhìn các công ty tiếp tục hoạt động mà không có những giới hạn và trách nhiệm cần thiết. Chúng tôi có thể tiếp tục dẫn đầu về AI và công nghệ, nhưng chúng tôi phải làm điều đó một cách có trách nhiệm – bảo vệ con cái chúng ta trên mọi chặng đường. Sự an toàn của trẻ em chúng ta không phải để bán.”

SB 243 sẽ có hiệu lực từ ngày 1 tháng 1 năm 2026 và yêu cầu các công ty triển khai một số tính năng nhất định như xác minh độ tuổi và cảnh báo liên quan đến mạng xã hội và các chatbot đồng hành. Luật cũng thực hiện các hình phạt mạnh mẽ hơn đối với những người kiếm lợi từ các hoạt động deepfake bất hợp pháp, bao gồm số tiền lên tới 250.000 USD cho mỗi lần vi phạm. Các công ty cũng phải thiết lập các quy trình để giải quyết vấn đề tự tử và tự làm hại bản thân, các quy trình này sẽ được chia sẻ với Bộ Y tế Công cộng của tiểu bang cùng với số liệu thống kê về cách dịch vụ cung cấp cho người dùng thông báo phòng ngừa của trung tâm khủng hoảng.

Theo ngôn ngữ của dự luật, các nền tảng cũng phải làm rõ rằng mọi tương tác đều được tạo ra một cách giả tạo và các chatbot không được tự nhận mình là chuyên gia chăm sóc sức khỏe. Các công ty được yêu cầu đưa ra lời nhắc nghỉ giải lao cho trẻ vị thành niên và ngăn họ xem những hình ảnh khiêu dâm do chatbot tạo ra.

Một số công ty đã bắt đầu thực hiện một số biện pháp bảo vệ nhằm vào trẻ em. Ví dụ: OpenAI gần đây đã bắt đầu triển khai các biện pháp kiểm soát của phụ huynh, bảo vệ nội dung và hệ thống phát hiện hành vi tự làm hại bản thân cho trẻ em sử dụng ChatGPT. Replika, được thiết kế dành cho người lớn trên 18 tuổi, nói với TechCrunch rằng họ dành “các nguồn lực quan trọng” cho sự an toàn thông qua các hệ thống lọc nội dung và các biện pháp bảo vệ hướng người dùng đến các tài nguyên xử lý khủng hoảng đáng tin cậy và cam kết tuân thủ các quy định hiện hành.

Nhân vật AI đã nói rằng chatbot của họ bao gồm tuyên bố từ chối trách nhiệm rằng tất cả các cuộc trò chuyện đều do AI tạo ra và hư cấu. Người phát ngôn của Character AI nói với TechCrunch rằng công ty “hoan nghênh làm việc với các cơ quan quản lý và nhà lập pháp khi họ phát triển các quy định và luật pháp cho không gian mới nổi này và sẽ tuân thủ luật pháp, bao gồm cả SB 243”.

Thượng nghị sĩ Padilla nói với TechCrunch rằng dự luật này là “một bước đi đúng hướng” hướng tới việc áp dụng các biện pháp bảo vệ cho “một công nghệ cực kỳ mạnh mẽ”.

Padilla nói: “Chúng ta phải hành động nhanh chóng để không bỏ lỡ những cơ hội trước khi chúng biến mất”. “Tôi hy vọng rằng các bang khác sẽ nhìn thấy rủi ro. Tôi nghĩ nhiều bang cũng nhìn thấy. Tôi nghĩ đây là cuộc đối thoại đang diễn ra trên khắp đất nước và tôi hy vọng mọi người sẽ hành động. Chắc chắn chính phủ liên bang không nhận thấy điều đó và tôi nghĩ chúng ta có nghĩa vụ ở đây là bảo vệ những người dễ bị tổn thương nhất trong số chúng ta.”

SB 243 là quy định quan trọng thứ hai về AI được ban hành từ California trong những tuần gần đây. Vào ngày 29 tháng 9, Thống đốc Newsom đã ký SB 53 thành luật, thiết lập các yêu cầu mới về tính minh bạch đối với các công ty AI lớn. Dự luật yêu cầu các phòng thí nghiệm AI lớn, như OpenAI, Anthropic, Meta và Google DeepMind, phải minh bạch về các giao thức an toàn. Nó cũng đảm bảo sự bảo vệ người tố cáo cho nhân viên tại các công ty đó.

Các tiểu bang khác, như Illinois, Nevada và Utah, đã thông qua luật hạn chế hoặc cấm hoàn toàn việc sử dụng chatbot AI để thay thế cho dịch vụ chăm sóc sức khỏe tâm thần được cấp phép.

TechCrunch đã liên hệ với Meta và OpenAI để nhận xét.

Bài viết này đã được cập nhật với ý kiến ​​​​của Thượng nghị sĩ PadillaNhân vật AI và Bản sao.