使用 AnySite Web Parser 节点抓取、映射或爬取任意网页(测试版)
抓取单个页面、从起始页面发现 URL,或爬取多个页面。该节点处于测试阶段 —— 部分选项可能会更改。
| 操作 | 作用 | 主要选项 |
|---|---|---|
| Scrape | 抓取单个页面 | 输出格式(Markdown、HTML、原始 HTML、链接、截图、整页截图)、仅正文内容、移动端视口、跳过 TLS 验证、去除 base64 图片、加载超时时间 |
| Map | 列出从起始 URL 可到达的 URL | 使用站点地图、包含子域名、搜索词筛选、最大 URL 数 |
| Crawl | 从起始 URL 遍历多个页面 | 整体爬取超时时间 |
先安装节点包并添加 AnySite API 凭证:参见安装说明。
添加节点,将 Operation 设为 Scrape,输入一个 URL,Formats 保持 Markdown,然后执行。输出面板会以 Markdown 格式返回页面内容。