Skillppx logo

web-fetch

使用无头浏览器抓取网页并转换为 Markdown，支持绕过基础反爬机制。

已扫描
适合谁
信息研究人员、内容创作者
不适合谁
无需网页抓取的普通用户、对自动化操作不熟悉的初学者
国内可用性
需网络配置。可能需要网络配置或第三方服务可访问。
安装难度
新手友好（★☆☆）。基于终端操作、依赖、API Key 和本地环境要求的初步判断。

安装与下载

openclaw skills install @dlutwuwei/web-anti-crawl-fetch
下载官方 ZIP

Skill 说明

命令、参数、文件名以原文为准

Web Fetch Skill

使用无头浏览器（Playwright + Stealth Plugin）抓取指定 URL 的网页内容，并自动转换为 Markdown 格式以便于阅读和进一步处理。

主要特性

  • 反爬虫绕过: 集成了 playwright-extra 和 puppeteer-extra-plugin-stealth，自动处理各种浏览器指纹和自动化特征检测。
  • 内容转换: 使用 turndown 库将复杂的 HTML 页面转换为简洁的 Markdown 格式。
  • 环境模拟: 模拟真实用户视口大小和无头浏览器配置。

使用方法

运行抓取脚本：

cd /Users/wuwei/.openclaw/workspace/skills/web-fetch/scripts
node fetch.js <url>

参数说明

  • url: 需要抓取的完整网页 URL（包括 http/https）。

示例

# 抓取新浪财经
node fetch.js "https://finance.sina.com.cn/stock/"

# 抓取特定新闻页面
node fetch.js "https://finance.eastmoney.com/a/202403143012345678.html"

输出

脚本将会在控制台输出以下内容：

  1. 抓取进度说明。
  2. 页面标题。
  3. 转换后的 Markdown 正文内容（较长内容会截断）。

依赖

  • playwright-extra: 插件化 Playwright 核心。
  • puppeteer-extra-plugin-stealth: 提供各种 evasion 策略。
  • turndown: HTML 到 Markdown 转换服务。

安装依赖：

cd /Users/wuwei/.openclaw/workspace/skills/web-fetch/scripts
npm install
D
@dlutwuwei

已收录 2 个 Skill

相关推荐