跳转到主要内容

​
FirecrawlScrapeWebsiteTool

​
描述

Firecrawl 是一个用于爬取任何网站并将其转换为干净的 Markdown 或结构化数据的平台。

​
安装

  • 从 firecrawl.dev 获取一个 API 密钥，并将其设置在环境变量中 (FIRECRAWL_API_KEY)。
  • 安装 Firecrawl SDK 以及 crewai[tools] 包。
pip install firecrawl-py 'crewai[tools]'

​
示例

按如下方式使用 FirecrawlScrapeWebsiteTool，让您的智能体能够加载网站
代码
from crewai_tools import FirecrawlScrapeWebsiteTool

tool = FirecrawlScrapeWebsiteTool(url='firecrawl.dev')

​
参数

  • api_key：可选。指定 Firecrawl API 密钥。默认为 FIRECRAWL_API_KEY 环境变量。
  • url：要抓取的 URL。
  • page_options：可选。
    • onlyMainContent：可选。仅返回页面的主要内容，不包括页眉、导航、页脚等。
    • includeHtml：可选。包含页面的原始 HTML 内容。将在响应中输出一个 html 键。
  • extractor_options：可选。用于从页面内容中基于 LLM 提取结构化信息的选项
    • mode：要使用的提取模式，目前支持 ‘llm-extraction’
    • extractionPrompt：可选。描述要从页面中提取何种信息的提示
    • extractionSchema：可选。待提取数据的模式
  • timeout：可选。请求的超时时间（毫秒）
⌘我