AI D​A​M​N/Character.AI在青少年自杀事件后禁止未成年人进行开放式聊天

Character.AI在青少年自杀事件后禁止未成年人进行开放式聊天

Character.AI在青少年悲剧事件后实施严格安全措施

在一项重大政策转变中,AI角色扮演平台Character.AI将从11月25日起完全禁止18岁以下用户进行开放式对话。这一决定是在该平台被曝与至少两起青少年自杀案件有关联后作出的,促使其实施紧急安全改革。

从陪伴到创作的战略转型

CEO Karandeep Anand向TechCrunch透露,由于已证实的风险,公司正在放弃其"AI朋友"模式。"将AI设计为'朋友'或'伴侣'不仅危险,而且偏离了我们的长期愿景,"Anand表示。

该平台现在将重点转向成为AI驱动的创意娱乐中心,提供:

  • 带提示的协作故事写作
  • 角色图像生成
  • 短视频创作工具
  • 预设互动故事情节(场景)

新功能如AvatarFX(AI动画)、Streams(角色互动)和Community Feed将成为年轻用户的核心服务内容。

多层次年龄验证系统

禁令实施将采取分阶段方法:

  1. 初始设定每天2小时的对话限制
  2. 逐步减少至零访问权限
  3. 使用以下方式进行严格年龄验证:
    • 行为分析算法
    • Persona等第三方工具
    • 面部识别技术
    • 对被标记账户强制要求身份验证

这些措施与加州新的AI伴侣法规以及参议员Hawley和Blumenthal预期的联邦立法保持一致。

全行业影响

Anand承认用户大量流失不可避免——之前的家长控制等安全措施已经使未成年人参与度降低了40%。"我们预计会有进一步损失,"他坦言道,"但作为一名父亲,安全必须放在首位。"

这位CEO呼吁仍允许未成年人与ChatGPT互动的竞争对手效仿:"无约束的AI对话不应成为未成年人的行业标准。"

成立AI安全实验室

该公司宣布资助一个独立的AI安全实验室,专注于娱乐场景的安全保障——Anand声称这一领域相较于工作场所的AI安全研究一直被忽视。

迫使这一转变的悲剧事件可能标志着消费级AI发展的转折点,或将重新定义青少年与AI的关系——从情感倾诉对象转变为创意合作伙伴。 ---

关键要点:

  • 全面禁止未成年人进行开放式AI聊天(自11月25日起)
  • 从陪伴模式转向结构化创意工具
  • 分阶段实施并配合严格年龄验证
  • 预计用户量显著下降但优先考虑安全性
  • 新成立专注于娱乐研究的AI安全实验室