Scrape

抓取前合规检查清单

在编写任何抓取代码之前：

1. robots.txt — 获取 {domain}/robots.txt，检查目标路径是否被禁止。如果被禁止，请停止。
2. 服务条款 — 查看 /terms、/tos、/legal。若明确禁止抓取，则需获得授权。
3. 数据类型 — 公开的事实性数据（如价格、商品列表）较安全。个人数据可能触发 GDPR / CCPA 法规。
4. 身份验证 — 登录后的内容不可抓取，除非获得授权。切勿抓取受保护内容。
5. 是否有 API？ — 若网站提供 API，应优先使用。始终如此。存在 API 时仍进行抓取通常违反服务条款。

法律边界

• 公开数据，无需登录 — 一般合法（参考 hiQ v. LinkedIn 2022 案例）
• 绕过访问限制 — 可能触犯 CFAA 法规（参考 Van Buren v. US 2021 案例）
• 无视 robots.txt — 灰色地带，常构成违反服务条款（参考 Meta v. Bright Data 2024 案例）
• 未经同意收集个人数据 — 违反 GDPR / CCPA
• 复制发布受版权保护的内容 — 构成版权侵权

请求规范

• 请求频率：每次请求间隔不少于 2-3 秒。过快可能导致服务器压力，增加法律风险。
• User-Agent：使用真实浏览器标识符 + 联系邮箱：Mozilla/5.0 ... (contact: you@email.com)
• 遵守 429 错误：采用指数退避策略。无视 429 错误可能被视为恶意行为。
• 会话复用：保持连接打开，以减少服务器负载。

数据处理

• 立即剥离个人身份信息（PII） — 除非有合法依据，否则不收集姓名、邮箱、电话等。
• 禁止指纹识别 — 不得通过数据组合间接识别个人身份。
• 最小化存储 — 仅缓存必要数据，不再需要时及时删除。
• 保留审计日志 — 记录抓取内容、时间、来源。如遇争议，可作为善意行为证据。

关于代码模式和 robots.txt 解析器，请参阅 code.md