一、刑事风险

二、民事侵权的多层次维度：从不正当竞争到合同违约

（一）不正当竞争法的适用空间

相较于触发刑事追责的高门槛与极为严格的事中调查取证难度，爬取AI训练数据在民事领域更容易触发不正当竞争相关的法律规定。

《反不正当竞争法》（2025修订版）第十三条对违反Robots协议的自动化采集行为提供了更明确的法律评价依据³。当脱离搜索引擎的公益语境后，AI服务绕过Robots协议抓取内容的行为，应直接适用《反不正当竞争法》的一般原则和具体规定进行分析。甚至在“腾讯诉网智案”中，网智公司认为腾讯公司公示的爬虫协议中明确允许其他经营者使用网络爬虫爬取新闻数据，其行为不属于不正当竞争行为。但是法院则认为腾讯新闻数据系腾讯公司通过持续性投入形成的竞争性资源，承载着企业的商业利益与创新动力。网智公司在未经许可亦未支付报酬的情况下，大量采集腾讯新闻数据并进行商业化使用的行为，损害了腾讯公司一方的合法利益，有违公平竞争原则，与公认的商业道德不符，构成不正当竞争。该案表明即便在robots协议允许范围内的公开数据进行爬取也可能构成侵权。

（二）著作权法下的侵权风险

AI模型训练过程中，对训练数据的复制、存储和处理行为可能直接侵犯著作权人的复制权和信息网络传播权。爬取的公开数据中若包含文字、图片、音乐、视频等受版权保护的内容，即便该内容在网络上是公开可访问的状态，AI企业未经授权将其批量复制并用于商业化模型训练，仍可能构成著作权侵权。

需要特别关注的是，AI训练的法律风险并不只发生在模型输出阶段。训练前端的大规模复制、清洗、标注、向量化和数据集固化，同样可能引发著作权权利争议。2025年“美杜莎案”⁴中，法官认为被告李某（平台使用者）以商业使用为目的，在素材截取阶段及LoRA模型训练、发布及使用阶段再现在先作品的独创性表达、将“美杜莎”图集和短视频等素材通过网络提供给公众，侵害了原告对“美杜莎”作品享有的复制权和信息网络传播权。但是平台向用户尽到了合理告知义务，设置了投诉举报机制和发布审核机制，在收到起诉状后及时下架了全部美杜莎LoRA模型，并更新平台审核机制中的筛选关键词，在接到原告通知后，及时通知了海外AI平台，主观上并无过错，客观上尽到了“采取必要措施”“转通知”义务，不应认定构成侵权。随着国内“美杜莎案”等司法判例在AI模型训练数据版权问题上的落地，著作权侵权诉讼对于国内AI企业而言将逐步从理论风险转化为实际的法律成本。

（三）平台规则的法律约束力

用户协议或服务条款中明确禁止的自动化爬取行为，在司法实践中逐渐被视为具有法律约束力的合同义务。爬虫采集行为若违反用户协议，企业可能需承担合同违约责任。HiQ Labs v. LinkedIn案件在这方面提供了重要的比较法视角。案件的关键转折在于后续判决的走向：地方法院在后续判决中确认，即便《计算机欺诈与滥用法案》（CFAA）不适用，hiQ仍然可能构成对LinkedIn用户协议的违约，因为hiQ曾注册账号并同意相关条款，包括禁止爬取及假账号行为。最终案件于2022年12月以和解方式结案：hiQ同意永久停止爬取LinkedIn数据，删除已获取的全部数据、相关源代码及基于这些数据开发的算法，向LinkedIn支付50万美元赔偿，并同意LinkedIn在包括CFAA、州级计算机滥用法、侵权挪用等多个法律依据下建立责任。值得注意的是，该案以和解方式结案，双方在同意判决中的约定内容并非法院的事实认定，不具有判例法上的先例价值，但和解条款中支付的50万美元赔偿及数据销毁义务，为AI企业敲响了警钟：即便CFAA风险得以规避，合同违约和不正当竞争的法律成本同样不容小觑。目前我国还没有类似案例，大部分的被侵权企业均基于反不正当竞争法、著作权法的相关规定进行诉讼，基于违约诉讼的并不多见。这可能是由于目前平台的用户协议和服务条款中对于爬虫技术的限制条款并不严谨导致。

综上分析，从开放数据共享的角度来看，完全禁用网络爬虫并不总是合法行为。美国第九巡回上诉法院曾在hiQ案的CFAA层面裁定，对于互联网上完全公开、无需任何权限（如密码）即可访问的页面，使用自动化程序进行抓取，不构成CFAA所禁止的“未经授权的访问”。这一判决的内在逻辑在于数据公开属性的认定——一旦数据被公之于众，原数据的控制者放弃了一定的排他性控制权，任何人都有浏览的权利，自动化采集虽然频率和规模超出人工浏览的范畴，但并未触及CFAA旨在规制的“侵入”行为。然而，这一结论并未获得美国最高法院的最终确认——最高法院曾在2021年将该案发回重审。最终以和解收场，并未形成最终定论。

对AI企业而言，理解这一逻辑边界至关重要：一方面可以援引公开属性的法理依据，对纯公开数据的爬取行为进行抗辩；另一方面必须清醒认识到，在中国法域下，法院更多地着眼于爬虫对网站服务器资源的消耗、对被爬方竞争利益的侵蚀，以及爬取行为是否突破了网站设置的技术防护措施——即便爬取的是公开数据，若采用了突破技术防护的手段，依然可能构成侵权。

三、跨境爬虫的合规要求

四、AI企业“爬虫行为”的合规框架

面对日益趋严的监管环境和不断涌现的司法判例，AI企业必须建立系统性的数据采集合规体系。以下五个方面构成了爬虫数据采集合规的核心框架：

第一、建立分层采集策略。将互联网数据按照“公开程度、技术防护程度、知识产权属性和隐私程度”分为不同层级。第一层级为完全公开且无技术措施的数据，需关注Robots协议和网站服务条款。第二层级为设有反爬措施的数据（验证码、签名认证、设备指纹等），应当在获取授权后进行。第三层级为需要登录或付费订阅的数据——必须通过正规授权渠道获取，不得以突破技术防护手段进行窃取。这三个层级不是彼此孤立的，越往高层面临的刑事风险越大。静安区法院的相关判例显示，即便存在合法登录账号，一旦以技术手段突破授权范围获取后台原始数据，就足以构成非法获取计算机信息系统数据罪。

第二、重视Robots协议与服务条款的合规审查。自动化采集行为应首先遵循目标网站的Robots协议，严格审查其服务条款是否禁止爬虫访问。解析Robots以识别禁止抓取的路径，设置合理的请求间隔避免对服务器造成压力，使用User-Agent标识爬虫身份以提升透明度，避免相关法律风险。

第三、建立数据授权溯源体系与训练数据全链路记录。AI企业应当对训练数据的来源、采集方式、处理过程、使用目的、数据形态进行全链路记录和留痕。当监管、客户或权利人追问数据来源时，企业应当能够清晰说明“这些数据从哪里来、凭什么可以用、用到了哪里、如何处理过、是否可以删除或停用”。这一全链路记录机制不仅是满足《生成式人工智能服务管理暂行办法》第七条“使用具有合法来源的数据”这一法定要求的必要手段，也是企业应对外部合规审查和知识产权争议时保护自身权益的核心证据支撑。

第四、建立版权合规与个人信息保护的双重防线。对著作权与个人信息的保护应建立在最小必要原则上，审慎构建数据内容合规的双重防线。在著作权维度，训练数据中若包含受版权保护的内容（新闻报道、音乐、图片、代码、学术论文等），应当审查其使用是否构成著作权法意义上的“合理使用”，不构成合理使用的应当通过正规授权渠道取得许可。在个人信息维度，《个人信息保护法》第二十七条虽允许在合理范围内处理个人自行公开或者其他已经合法公开的个人信息，但同时规定个人明确拒绝的不得处理，且处理活动对个人权益有重大影响的仍应依法取得个人同意。在AI训练场景中，企业不能只看信息是否公开，还应审查使用目的是否偏离原公开场景，处理方式是否超出个人合理预期。

第五、关注最新监管动态与制度建设。从制度建设层面来看，国家数据局于2026年6月印发的《关于推进行业高质量数据集建设行动的实施方案》提出了一系列前瞻性的制度安排，该方案鼓励发展“订阅模式”“商场模式”“定制模式”等多元数据交易模式，推动商业模式从基础数据包销售向API调用、模型化解决方案及全栈服务梯次跃升。这一政策信号表明，正当的数据授权交易渠道正在逐步建设之中，AI企业应当主动拥抱这一合规通道，而非继续依赖存在重大法律风险的爬虫采集模式。

五、结语