网络爬取

优先使用最轻量且可靠的方案提取数据。

选择方法

1. 当目标页面为公开静态页，且所需内容已存在于 HTML 中时，使用 web_fetch。
2. 当网站动态加载、需要点击操作、无限滚动、筛选条件、标签页切换或登录/会话状态管理时，使用 browser。
3. 仅在目标 URL 未知时，使用 web_search 来发现候选页面。

默认工作流程

1. 确定目标网站及需采集的具体字段。
2. 先测试单个页面。
3. 决定提取方式：

- 使用 web_fetch 提取可读的正文或列表内容

- 使用 browser snapshot 进行动态 DOM 检查

1. 将输出结果规范化为稳定的数据结构。
2. 若需抓取多个页面，请避免紧密循环，对请求进行序列化处理。
3. 通过 URL 或稳定项 ID 去重。
4. 当任务规模较大时，将结果保存至工作区。

浏览器爬取模式

1. 打开目标页面。
2. 截取快照。
3. 仅按需进行交互：搜索、点击筛选器、翻页、展开内容区域。
4. 每次重要状态变更后重新截取快照。
5. 仅提取用户要求的字段。
6. 完成后关闭打开的标签页。

输出建议

优先采用以下格式之一：

• 精炼的项目符号摘要
• JSON 对象数组
• CSV/TSV（当用户需要可导出的表格数据时）

使用明确的键名，例如：

[
  {
    "title": "...",
    "url": "...",
    "source": "...",
    "date": "...",
    "summary": "..."
  }
]

可靠性规则

• 不得虚构缺失字段。
• 若网站阻止访问，应如实说明，并在合适情况下切换数据源。
• 对新闻或搜索结果页，至少捕获来源 + 标题 + 链接。
• 对大规模任务，定期将部分结果存入工作区文件作为检查点。
• 优先少量大批次写入，而非多次小批量写入。

清理工作

• 关闭爬取过程中打开的所有浏览器标签页。
• 若创建了状态或输出文件，请将其存储在工作区目录下，并使用清晰的命名。