新研究揭露ChatGPT科学判断缺陷
ChatGPT的自信掩盖了科学不一致性
当ChatGPT以斩钉截铁的态度给出答案时，你可能会以为它知道自己在说什么。但华盛顿州立大学的新研究提示我们：在信任AI处理复杂科学判断前应该三思。
令人不安的发现
Mesut Cicek教授团队使用商业期刊中的719个研究假设对ChatGPT进行了严格测试，结果发人深省：
- 表面欺骗性：虽然初始准确率约80%，但排除随机猜测因素后实际表现骤降至60%——仅比抛硬币略好
- 真相盲区：模型尤其不擅长识别错误陈述，正确率仅16.4%——被研究人员称为"D级低分"表现
- 惊人矛盾：对相同问题重复提问时，ChatGPT在超过四分之一案例中改变主意。某些回答会在完全相同的提示下于"正确"和"错误"间剧烈摇摆
研究意义
该研究揭示了AI自我呈现与实际能力间的关键差距。"流畅的语言会迷惑用户"，Cicek解释道，"但这不意味着系统理解自己所言。"
最新版本更新也未能解决这些根本局限。测试显示ChatGPT-5 mini在这些特定任务上表现与早期版本相似——尽管宣传铺天盖地，却未见实质改进。
对企业的实际影响
对考虑采用AI辅助决策的组织，该研究提出明确警示：
- 切勿视AI为最终权威：必须通过人类专家验证输出结果
- 培训员工认识局限：员工应清楚AI的优势与短板所在
- 警惕矛盾模式：当答案随查询变化时要特别谨慎
核心结论？虽然AI工具可以是得力助手，但尚未准备好取代人类对复杂事务的判断——至少目前如此。
关键要点：
- WSU研究中ChatGPT科学准确性仅略胜随机猜测
- 模型对相同问题频繁自相矛盾
- 错误陈述识别能力尤其薄弱（16.4%准确率）
- 版本更新未显著改善这些局限
- 建议企业对重要决策保持人工监督
