知识共享组织支持付费网络爬取：平衡创作者权利与开放访问

知识共享组织对AI内容抓取表明立场

随着生成式AI重塑我们在线获取信息的方式，一场关于内容价值评估的静默革命正在酝酿。倡导开放内容许可的非营利组织知识共享（CC）做出了出人意料的转变——谨慎支持向爬取网站的AI公司收费的机制。

流量暴跌危机

问题始于AI助手开始直接回答问题，绕过了原始来源网站的访问。新闻网站的搜索流量骤降30-50%，小型出版商受影响最严重。"这就像修建了一条绕过所有城镇的高速公路，"一位数字出版商解释道，"内容滋养了AI，但创作者却得不到任何好处。"

CC的解决方案？建立一个类似音乐流媒体版税的框架，要求AI公司在抓取内容时付费。Cloudflare已提供此类系统，微软正在构建一个AI内容市场。但CC警告称，这种方法需要精心设计以避免意外后果。

在其立场文件中，CC概述了关键原则：

提议的RSL（真正简单许可）标准让网站声明哪些内容可被抓取及用于何种目的——在完全开放和付费内容之间提供了中间地带。

像《纽约时报》这样的大型出版商可以直接与AI公司谈判。但独立博主和小型新闻机构缺乏这种议价能力。付费爬取可能成为他们的生命线——也可能只是另一个强者恒强的系统。

"我们不能让付费系统成为新的看门人，"CC的政策负责人警告道。挑战在于创建既能维持创作者生计又不会封锁互联网公共空间的补偿模式。