Firecrawl для Claude Code и Codex: как превращать сайты в Markdown и данные для AI
LLM плохо работает с сырым HTML: меню, cookie banners, JavaScript, скрытые блоки и навигация создают шум. Firecrawl ставит между AI и вебом слой извлечения данных: на вход получает URL или поисковый запрос, а на выход отдаёт чистый Markdown, JSON, metadata, ссылки, PDF-текст или целый corpus сайта — уже пригодный для Claude, Codex, RAG и автоматизации.
Firecrawl не «ходит по интернету как человек» — он превращает веб в удобный контекст для машин
Большинство AI-приложений хочет не DOM-дерево и не скриншот страницы, а содержимое: текст статьи, характеристики товара, структуру документации, список ссылок, таблицу цен или набор страниц для knowledge base.
Firecrawl умеет обрабатывать страницы, где содержимое появляется после выполнения JavaScript.
Меню, повторяющийся шум и лишняя разметка удаляются лучше, чем при простом HTTP GET.
Можно превратить документацию или целый раздел сайта в corpus для дальнейшего поиска.
Данные можно получать сразу как JSON по заданной schema.
Scrape, Map, Crawl и Search решают разные задачи
Забрать одну страницу как Markdown, JSON, HTML, links, screenshot и другие форматы.
/v2/scrape
Быстро получить карту ссылок, не оплачивая полное извлечение содержимого каждой страницы.
/v2/map
Firecrawl обнаруживает дочерние страницы и возвращает corpus в едином формате.
/v2/crawl
Веб-поиск плюс возможность сразу получить полный контент найденных страниц.
/v2/search
Специализированное извлечение содержимого из документов.
/v2/parse
Hosted browser session для динамических flow, когда одного scrape недостаточно.
Interact API
Правильный выбор endpoint уменьшает время, стоимость и объём лишних данных. Для неизвестной структуры часто разумный порядок: Map → выбрать URL → Scrape.
Минимальный старт с Firecrawl Cloud
На момент проверки актуальный стабильный Python SDK — firecrawl-py 4.42.0, требует Python 3.8 или новее и распространяется по MIT.
pip install firecrawl-py==4.42.0Одна страница → Markdown
from firecrawl import Firecrawl
app = Firecrawl(api_key="fc-YOUR_API_KEY")
result = app.scrape(
"https://example.com"
)
print(result.markdown)Поиск в интернете
from firecrawl import Firecrawl
app = Firecrawl(api_key="fc-YOUR_API_KEY")
result = app.search(
"local LLM Ollama Windows",
limit=5
)
print(result)Используйте environment variable, secret storage IDE/MCP-клиента или отдельный secrets manager.
Claude Code и Codex можно научить пользоваться Firecrawl без написания Python-кода
Установить CLI
npm install -g firecrawl-cliИли выполнить onboarding одной командой:
npx -y firecrawl-cli@latest init -y --browserCLI устанавливает authentication и может разложить skills по обнаруженным coding-agents. В текущем проекте поддерживаются Claude Code, Codex, Cursor, Windsurf, OpenCode, OpenClaw, OpenHands и Hermes Agent.
firecrawl setup corefirecrawl setup buildfirecrawl setup workflowsfirecrawl setup mcpУстановить skills только в один agent
# Claude Code
firecrawl setup core --agent claude-code
# OpenAI Codex
firecrawl setup core --agent codex
# Cursor
firecrawl setup core --agent cursorFirecrawl MCP даёт агенту поиск и scraping как набор tools
На момент проверки npm package официального MCP server имеет версию 3.24.1. Он умеет cloud и self-hosted endpoints, Search, Scrape, Map, Crawl, browser interaction и специализированный поиск research/developer источников.
Локальный MCP через npx
FIRECRAWL_API_KEY=fc-YOUR_API_KEY npx -y firecrawl-mcpУдалённый hosted MCP
https://mcp.firecrawl.dev/v2/mcpУ hosted MCP есть ограниченный keyless free tier: Search, Scrape и Parse можно попробовать без API key в рамках rate limits. Полный набор tools требует account/OAuth или API key.
Официальная документация рекомендует secure header, environment variable или secret storage клиента.
Что меняется после подключения Firecrawl к Claude Code или Codex
Не ограничиваться snippet из search results и устаревшими знаниями модели.
Developer Index создан специально для agentic research по коду и open-source ecosystem.
Map/Crawl возвращает повторяемый corpus вместо ручного открытия каждой страницы.
Agent может сначала прочитать текущую документацию и только потом генерировать integration.
Команда firecrawl setup defaults может перенаправить native web search/fetch на Firecrawl.
Это стоит включать осознанно: меняется способ, которым agent получает веб-контекст.
Firecrawl хорошо закрывает первую половину RAG: получение и очистку документов из веба
Firecrawl сам не является вашей vector database и не заменяет retrieval layer. Его сильная сторона — получить из меняющегося веб-сайта нормализованный corpus, который уже можно загрузить в AnythingLLM, Open WebUI, Qdrant, pgvector или собственный pipeline.
Для automation лучше получать данные сразу в JSON по schema
Если downstream-коду нужны цена, название, артикул и наличие, Markdown приходится повторно парсить. Firecrawl умеет structured extraction: вы описываете поля, а API возвращает объект.
{
"title": "Product name",
"price": 19990,
"currency": "RUB",
"in_stock": true
}В v2.11 появился также deterministicJson: Firecrawl генерирует extractor под schema и переиспользует его для того же сайта, чтобы повторные extraction были стабильнее и не требовали отдельного LLM-вызова каждый раз.
Но изменение DOM всё равно способно потребовать переобучения/rebuild extractor.
Firecrawl можно self-host, но hosted и open-source варианты функционально не идентичны
Core repository открыт под AGPL-3.0. SDK и некоторые UI-компоненты имеют MIT-лицензию. Это важнее, чем часто пишут в обзорах: Firecrawl нельзя целиком называть MIT-проектом.
Основной open-source pipeline можно развернуть на собственной инфраструктуре.
Fire-engine и управляемая proxy-инфраструктура не входят в обычный open-source deployment.
Текущая документация относит Agent, Browser, Interact и часть page-action/screenshot возможностей к cloud offering.
Self-host означает, что масштабирование, очереди, browser workers и диагностика становятся вашей задачей.
Если вы модифицируете AGPL-компонент и предоставляете его функциональность пользователям по сети, проверьте обязательства лицензии. Это не тот случай, где можно автоматически применять правила MIT.
Firecrawl и Browser Use пересекаются, но основной workflow у них разный
У Firecrawl появился Interact, поэтому граница уже не абсолютная. Но для массового получения web data Firecrawl остаётся data-first инструментом, а Browser Use — agent-first инструментом управления browser session.
Web scraping — это не только техническая задача
Core README указывает, что Firecrawl по умолчанию соблюдает directives robots.txt при crawling.
Разрешение crawler технически получить страницу не означает разрешение использовать данные любым способом.
Не складывайте в RAG персональные данные только потому, что они доступны в вебе.
Firecrawl credentials нужно хранить в secret store/environment, а не в prompt или repository.
Полученный с сайта Markdown остаётся недоверенным содержимым для LLM-agent.
Structured JSON от extraction нужно валидировать перед финансовыми или необратимыми действиями.
PII redaction
В Firecrawl v2.11 добавлена опция redactPII,
которая может автоматически удалить из scraped content имена, e-mail, телефоны, адреса и другие чувствительные данные.
Это полезный дополнительный слой, но не замена полноценной data-governance проверке.
Если Firecrawl подключён к автономному agent, веб-страница может содержать инструкции, направленные на модель. Отделяйте web content от system instructions и ограничивайте tools агента.
Где Firecrawl приносит реальную пользу
Claude/Codex перед интеграцией читает актуальные docs, а не полагается на знания модели.
Crawl превращает help center/docs в Markdown, который затем индексируется локально.
Периодически извлекать конкретные JSON-поля и сравнивать с предыдущим состоянием.
Search находит источники, Scrape возвращает полный текст, а агент анализирует уже реальные материалы.
Map/Crawl позволяют получить структуру большого сайта и метаданные страниц.
Поиск по GitHub issues, merged PRs, README и research papers для более качественного технического анализа.
Firecrawl не делает веб идеально структурированным и доступным автоматически
Защищённые сайты могут блокировать self-host crawler без качественных proxies и browser infrastructure.
Полный crawl тысяч страниц дороже, чем точечный Map + Scrape.
Иногда данные доступны только после сложной интеракции — тогда нужен Interact или browser-agent.
LLM/heuristic JSON extraction требует schema validation.
Selectors, DOM и navigation могут ломать ранее стабильный workflow.
Часть managed proxy/browser возможностей придётся обеспечивать самостоятельно.
Доступность страницы не отменяет ToS, copyright и privacy requirements.
Scraped Markdown может содержать prompt injection против downstream-agent.
Search/Map → выбрать нужные страницы → Scrape. Crawl всего домена используйте тогда, когда полный corpus действительно нужен.
Firecrawl: API, SDK, CLI, MCP и лицензирование
Проверены Firecrawl v2.11, firecrawl-py 4.42.0,
официальный MCP package 3.24.1 и текущая модель лицензирования AGPL-3.0/MIT.
Firecrawl полезен там, где AI нужен не «браузер», а качественный слой данных поверх веба
Для одного URL Firecrawl превращает страницу в чистый Markdown. Для неизвестного сайта Map показывает структуру. Для базы знаний Crawl собирает corpus. Search находит свежие источники, а structured extraction возвращает данные уже в форме, пригодной для кода.
Если же задача звучит «зайди в мой аккаунт, нажми кнопку, заполни форму и проверь результат» — это уже ближе к Browser Use. Разделение data-first и action-first сценариев помогает не строить слишком дорогую и хрупкую автоматизацию.
Частые вопросы о Firecrawl
Что такое Firecrawl простыми словами?
Сервис и open-source stack, который получает веб-страницы, очищает их и возвращает данные в Markdown, JSON и других форматах, удобных для LLM и программ.
Чем Scrape отличается от Crawl?
Scrape обрабатывает известную страницу. Crawl обнаруживает и обрабатывает множество страниц сайта.
Зачем нужен Map?
Чтобы быстро увидеть URL сайта и выбрать нужные страницы до дорогого полного scrape/crawl.
Firecrawl работает с Claude Code и Codex?
Да. Есть официальный CLI/skills и MCP server; CLI поддерживает отдельные targets для Claude Code и Codex.
Можно ли self-host Firecrawl?
Да, core открыт под AGPL-3.0. Но self-host не включает всю managed proxy/anti-bot/browser infrastructure облачного сервиса.
Firecrawl — MIT?
Не целиком. Основной repository лицензируется преимущественно по AGPL-3.0. SDK и некоторые UI-компоненты имеют MIT-лицензию.
Чем Firecrawl отличается от Browser Use?
Firecrawl в первую очередь извлекает и нормализует web data. Browser Use в первую очередь управляет браузером и пользовательским интерфейсом.
Можно ли использовать Firecrawl для RAG?
Да. Crawl/Scrape хорошо подходят для получения corpus, после чего Markdown нужно передать вашему chunking, embedding и retrieval pipeline.
Какие версии актуальны?
На момент проверки используется API-линия v2.11, Python SDK firecrawl-py 4.42.0 и MCP package 3.24.1.
Нужно подключить к AI актуальные сайты, документацию или собственный web-corpus?
Можно подобрать схему Search/Map/Scrape/Crawl, MCP или self-host, чтобы не гонять browser-agent там, где достаточно чистого структурированного web data.