Web Parser 节点

使用 AnySite Web Parser 节点抓取、映射或爬取任意网页(测试版)

抓取单个页面、从起始页面发现 URL,或爬取多个页面。该节点处于测试阶段 —— 部分选项可能会更改。

操作

操作 作用 主要选项
Scrape 抓取单个页面 输出格式(Markdown、HTML、原始 HTML、链接、截图、整页截图)、仅正文内容、移动端视口、跳过 TLS 验证、去除 base64 图片、加载超时时间
Map 列出从起始 URL 可到达的 URL 使用站点地图、包含子域名、搜索词筛选、最大 URL 数
Crawl 从起始 URL 遍历多个页面 整体爬取超时时间

设置

先安装节点包并添加 AnySite API 凭证:参见安装说明。

验证

添加节点,将 Operation 设为 Scrape,输入一个 URL,Formats 保持 Markdown,然后执行。输出面板会以 Markdown 格式返回页面内容。

另请参阅