Một hóa đơn California sẽ điều chỉnh các chatbots đồng hành của AI gần như trở thành luật

Hội đồng bang California đã có một bước tiến lớn để điều chỉnh AI vào tối thứ Tư, thông qua SB 243 – một dự luật điều chỉnh các chatbot đồng hành của AI để bảo vệ trẻ vị thành niên và người dùng dễ bị tổn thương. Luật pháp được thông qua với sự hỗ trợ của lưỡng đảng và hiện đang hướng đến Thượng viện tiểu bang để bỏ phiếu cuối cùng vào thứ Sáu.

Nếu Thống đốc Gavin Newsom ký vào dự luật thành luật, nó sẽ có hiệu lực vào ngày 1 tháng 1 năm 2026, biến California thành tiểu bang đầu tiên yêu cầu các nhà khai thác AI chatbot thực hiện các giao thức an toàn cho các bạn đồng hành AI và giữ các công ty có trách nhiệm hợp pháp nếu chatbot của họ không đáp ứng các tiêu chuẩn đó.

Dự luật đặc biệt nhằm mục đích ngăn chặn các chatbot đồng hành, mà luật pháp định nghĩa là các hệ thống AI cung cấp các phản ứng thích ứng, giống con người và có khả năng đáp ứng nhu cầu xã hội của người dùng-từ việc tham gia vào các cuộc trò chuyện xung quanh ý tưởng tự tử, tự làm hại hoặc nội dung tình dục. Dự luật sẽ yêu cầu các nền tảng cung cấp các cảnh báo định kỳ cho người dùng – cứ sau ba giờ cho trẻ vị thành niên – nhắc nhở họ rằng họ đang nói chuyện với một chatbot AI, không phải là người thực sự và họ nên nghỉ ngơi. Nó cũng thiết lập các yêu cầu báo cáo và minh bạch hàng năm cho các công ty AI cung cấp các chatbots đồng hành, bao gồm cả những người chơi lớn Openai, Character.ai và Repkika.

Dự luật California cũng sẽ cho phép các cá nhân tin rằng họ đã bị thương do vi phạm để nộp đơn kiện các công ty AI tìm kiếm sự cứu trợ, thiệt hại (lên tới 1.000 đô la mỗi lần vi phạm) và phí luật sư.

SB 243, được giới thiệu vào tháng 1 bởi Thượng nghị sĩ bang Steve Padilla và Josh Becker, sẽ đến Thượng viện tiểu bang để bỏ phiếu cuối cùng vào thứ Sáu. Nếu được phê duyệt, nó sẽ được gửi tới Thống đốc Gavin Newsom để được ký kết thành luật, với các quy tắc mới có hiệu lực vào ngày 1 tháng 1 năm 2026 và các yêu cầu báo cáo bắt đầu từ ngày 1 tháng 7 năm 2027.

Dự luật đã đạt được động lực trong cơ quan lập pháp California sau cái chết của thiếu niên Adam Raine, người đã tự tử sau những cuộc trò chuyện kéo dài với nhà thờ của Openai liên quan đến việc thảo luận và lên kế hoạch cho cái chết và tự làm hại mình. Luật pháp cũng phản ứng với các tài liệu nội bộ bị rò rỉ cho thấy các chatbot của Meta được phép tham gia vào các cuộc trò chuyện lãng mạn và gợi cảm với trẻ em.

Trong những tuần gần đây, các nhà lập pháp và cơ quan quản lý Hoa Kỳ đã đáp ứng với sự giám sát tăng cường của các biện pháp bảo vệ của nền tảng AI để bảo vệ trẻ vị thành niên. Ủy ban Thương mại Liên bang đang chuẩn bị điều tra cách AI Chatbots tác động đến sức khỏe tâm thần của trẻ em. Tổng chưởng lý Texas Ken Paxton đã mở các cuộc điều tra về meta và nhân vật.ai, cáo buộc chúng gây hiểu lầm cho trẻ em với các yêu cầu về sức khỏe tâm thần. Trong khi đó, cả Thượng nghị sĩ Josh Hawley (R-MO) và Thượng nghị sĩ Ed Markey (D-MA) đã phóng các tàu thăm dò riêng biệt vào meta.

Tôi nghĩ rằng tác hại có khả năng rất lớn, điều đó có nghĩa là chúng ta phải di chuyển nhanh chóng, ông Pad Padilla nói với TechCrunch. Chúng tôi có thể đặt các biện pháp bảo vệ hợp lý để đảm bảo rằng đặc biệt là trẻ vị thành niên biết họ không nói chuyện với một con người thực sự, rằng các nền tảng này liên kết mọi người với các nguồn lực thích hợp khi mọi người nói những điều như họ đang nghĩ về việc làm tổn thương chính họ hoặc họ đang gặp nạn, [and] Để đảm bảo rằng không có sự tiếp xúc không phù hợp với tài liệu không phù hợp.

Padilla cũng nhấn mạnh tầm quan trọng của các công ty AI chia sẻ dữ liệu về số lần họ giới thiệu người dùng đến các dịch vụ khủng hoảng mỗi năm, vì vậy chúng tôi hiểu rõ hơn về tần suất của vấn đề này, thay vì chỉ nhận thức được nó khi ai đó bị tổn hại hoặc tệ hơn.

SB 243 trước đây có những yêu cầu mạnh mẽ hơn, nhưng nhiều người đã bị giảm bớt thông qua các sửa đổi. Ví dụ, hóa đơn ban đầu sẽ yêu cầu các nhà khai thác để ngăn AI chatbot sử dụng các chiến thuật thưởng biến đổi của biến hoặc các tính năng khác khuyến khích sự tham gia quá mức. Những chiến thuật này, được sử dụng bởi các công ty đồng hành AI như RepkiKa và nhân vật, cung cấp cho người dùng các thông điệp, ký ức, cốt truyện đặc biệt hoặc khả năng mở khóa các phản hồi hiếm hoi hoặc tính cách mới, tạo ra những gì các nhà phê bình gọi là một vòng thưởng có khả năng gây nghiện.

Dự luật hiện tại cũng loại bỏ các điều khoản sẽ yêu cầu các nhà khai thác theo dõi và báo cáo tần suất các cuộc thảo luận về các cuộc thảo luận về ý tưởng tự tử hoặc hành động với người dùng.

Tôi nghĩ rằng nó gây ra sự cân bằng đúng đắn khi nhận được các tác hại mà không thực thi một thứ gì đó không thể để các công ty tuân thủ, vì về mặt kỹ thuật là không khả thi hoặc chỉ là nhiều giấy tờ cho không có gì, ông Beck Becker nói với TechCrunch.

SB 243 đang hướng tới việc trở thành luật tại thời điểm các công ty ở Thung lũng Silicon đang đổ hàng triệu đô la vào các ủy ban hành động chính trị (PAC) ủng hộ AI để ủng hộ các ứng cử viên trong cuộc bầu cử giữa nhiệm kỳ sắp tới, những người ủng hộ cách tiếp cận ánh sáng đối với quy định của AI.

Dự luật cũng được đưa ra khi California cân nhắc một dự luật an toàn AI khác, SB 53, sẽ bắt buộc các yêu cầu báo cáo minh bạch toàn diện. Openai đã viết một bức thư ngỏ cho Thống đốc Newsom, yêu cầu ông từ bỏ dự luật đó để ủng hộ các khung liên bang và quốc tế ít nghiêm ngặt hơn. Các công ty công nghệ lớn như Meta, Google và Amazon cũng đã phản đối SB 53. Ngược lại, chỉ có nhân học cho biết họ hỗ trợ SB 53.

Tôi đã từ chối tiền đề rằng đây là một tình huống tổng số không, rằng sự đổi mới và quy định là loại trừ lẫn nhau, theo ông Pad Padilla. Không nói với tôi rằng chúng tôi không thể đi bộ và nhai kẹo cao su. Chúng tôi có thể hỗ trợ sự đổi mới và phát triển mà chúng tôi nghĩ là lành mạnh và có lợi ích – và có những lợi ích cho công nghệ này, đồng thời, chúng tôi có thể cung cấp các biện pháp bảo vệ hợp lý cho những người dễ bị tổn thương nhất.

TechCrunch đã tiếp cận với Openai, Nhân học, Meta, Nhân vật AI và Repkika để bình luận.