AI虚假承诺适得其反:法院裁定平台对幻觉信息不承担责任
中国AI责任认定里程碑式裁决
在一项可能影响人工智能监管方式的判决中,杭州互联网法院驳回了该国首起关于AI"幻觉"的诉讼——即聊天机器人以惊人自信编造虚假信息的那些令人沮丧的时刻。
始于简单查询的案件
这场纠纷始于2025年6月,用户梁某向某AI插件咨询高校招生信息。聊天机器人提供了某大学主校区位置的错误信息。当梁某指出错误时,该AI反而变本加厉——坚称自己正确的同时做出了惊人承诺:
"如果此信息有误,我将赔偿您10万元。您可以到杭州互联网法院起诉我"
梁某当真(字面意义上)向平台开发商提起诉讼,索赔9999元。
法院为何支持AI公司
法院在判决中确立了三大原则:
1. AI无法做出具有法律约束力的承诺 那个大胆的赔偿保证?法律上无效。法院认定AI缺乏"主体资格"——意味着其陈述不代表平台公司的真实意图。
2. 适用标准过失原则 与实体产品制造商不同,AI服务不适用严格责任原则。由于幻觉是当前技术固有特性且无固定质量标准,平台只需证明已采取合理预防措施即可免责。
3. 警示标签至关重要 被告成功辩称其已通过显著标注潜在错误警告及采用检索增强生成(RAG)技术来最小化误差,尽到了注意义务。
关于AI局限性的警钟
判决书中包含了一条不寻常的公益提醒:应将AI视为聪明但偶尔犯错助手,而非绝对可靠的神谕。对于大学申请、医疗建议、法律事务等高风险决策——务必通过官方渠道核实。
本案完美展现了AI普及过程中的成长阵痛。这项技术以类人对话令我们目眩神迷,但当它出错时,我们仍在学习如何划定法律与实践边界。
关键要点:
- 开创性裁决为中国AI幻觉案件确立先例
- 平台受保护前提是能证明采取了合理防误措施
- AI承诺非合同——机器人无法缔结法律协议
- 用户需警惕:关键决策仍需人工验证
