Firecrawl：97k⭐のWebデータAPI、任意のWebサイトをLLM対応の構造化データに変換
サイト全体をMarkdownまたは構造化データに変換、AIアプリケーション向けに設計されたクローラーAPI
web-scraping
全 4 篇の記事
hq：118⭐の軽量HTMLコマンドラインプロセッサ
jqにインスパイアされたHTML処理ツール。CSSセレクタでWebデータを抽出し、data、text、attrの3つのモードをサポート
WebSift - メールやSNSリンクを抽出できる軽量OSINTツール
487 starsのオープンソースOSINTツール「WebSift」を紹介。純粋なBashスクリプトで実装され、Webサイトからメールアドレス、電話番号、SNSリンクを簡単に収集できる。
Scrapling：アダプティブWebスクレイピングフレームワーク
ウェブサイトの変更を自動学習するPythonスクレイピングフレームワーク、Cloudflare回避とプロキシローテーション内蔵