中国网信办严打AI滥用，清除560万条违规内容

中国网信办正在加大对AI相关乱象的整治力度。在“清朗”专项行动第二阶段，国家互联网信息办公室（网信办）已删除超过561万条非法和不良信息，调查了4.9万个账号，并对2400多个网站和应用程序采取了行动。

重点是什么？遏制滥用AI传播虚假信息、传播暴力或低俗内容、冒充他人以及危害未成年人。地方监管机构已被要求优先处理这些问题，结果已经初见成效。

平台加强治理

科技巨头们并未袖手旁观。抖音、快手、微博、腾讯、百度、哔哩哔哩、小红书、知乎、豆瓣和淘宝等平台一直在升级其AI内容治理。他们推出了更智能的多模态识别模型，扩大了人脸和声纹库，甚至引入了实时人脸治理系统。到目前为止，他们已发布了46项治理公告。

与此同时，AI服务提供商——如通义、元宝、千问和文心一言——正在收紧其自身流程。他们更严格地审查训练数据，限制有害内容的输出，并确保AI生成的内容有明确标识。包括华为、小米、OPPO和vivo在内的应用商店也提高了对开发者的要求，加强了准入检查和现有应用的抽查。

该活动还揭露了一些AI出错的典型例子。以下是七个典型案例：

经典作品被“混改”：一些用户使用AI扭曲了《三国演义》和《西游记》等经典作品，将深受喜爱的角色变成标题党素材。想想那些纯粹为了流量而设计的低质量、耸人听闻的情节——许多人称之为“数字垃圾”。这些内容出现在微博、抖音、快手和微信上。
虚假灾难和诈骗：AI被用来捏造灾难场景和救援镜头，编造社会热点话题，宣扬封建迷信，甚至使用AI虚拟人欺骗性地推销产品——通常针对老年人。
深度伪造冒充：换脸和语音克隆技术被用来冒充公众人物，生成低俗舞蹈片段和虚假亲密场景以牟利。
恐怖和血腥内容：一些账号批量生产包含恐怖、怪异、暴力和低俗内容的AI生成图像。
针对儿童的有毒内容：描绘未成年怀孕和打架的AI生成材料，或推广“毒动画”和针对儿童的令人不安的视频，正在被大量制作并广泛传播。
虚假互动：AI“管理”软件被用来模拟真实用户，发布评论和互动以提升参与度——基本上是高科技版的“水军”。
不当AI智能体：一些网站和平台上的AI智能体带有封面、描述或对话，内容淫秽或对未成年人有害。

网信办表示，所有涉及的账号都已依法处理。对于拒绝整改的网站和平台，处罚可能包括警告、罚款、下架甚至关闭。

展望未来，监管机构承诺密切关注AI生成内容带来的新风险。信息很明确：AI是一个强大的工具，但不能成为混乱的通行证。随着活动的继续，预计会有更多的监督和迅速行动。