Firecrawl：97k⭐的网页数据 API，让任意网站变成 LLM 可用的结构化数据
将整站网页转换为 Markdown 或结构化数据，专为 AI 应用设计的爬虫 API
web-scraping
共 4 篇文章
共 4 篇文章
将整站网页转换为 Markdown 或结构化数据，专为 AI 应用设计的爬虫 API
一个受 jq 启发的 HTML 处理工具，用 CSS 选择器提取网页数据，支持 data、text、attr 三种模式
介绍 WebSift，一个 487 stars 的开源 OSINT 工具，用纯 Bash 脚本实现网站邮箱、电话号码和社交媒体链接的批量提取。
一个能自动学习网站变化的 Python 爬虫框架，内置 Cloudflare 绕过、代理轮换、断点续爬等功能