跳转到主要内容
这些工具使您的代理能够与网络交互、从网站提取数据并自动执行基于浏览器的任务。从简单的网络抓取到复杂的浏览器自动化，这些工具涵盖了您所有的网络交互需求。

​
可用工具

网站抓取工具

用于从任何网站提取内容的通用网络抓取工具。

元素抓取工具

具有精确抓取能力，可针对网页上的特定元素。

Firecrawl 抓取工具

使用 Firecrawl 强大的引擎系统地抓取整个网站。

Firecrawl 抓取工具

使用 Firecrawl 的高级功能进行高性能网络抓取。

Firecrawl 搜索工具

使用 Firecrawl 的搜索功能搜索和提取特定内容。

Selenium 抓取工具

使用 Selenium WebDriver 功能实现浏览器自动化和抓取。

ScrapFly 工具

使用 ScrapFly 的高级抓取服务进行专业网络抓取。

ScrapGraph 工具

基于图的网络抓取，用于复杂数据关系。

爬虫工具

全面的网络爬行和数据提取功能。

BrowserBase 工具

使用 BrowserBase 基础设施实现基于云的浏览器自动化。

HyperBrowser 工具

使用 HyperBrowser 的优化引擎实现快速浏览器交互。

Stagehand 工具

使用自然语言命令进行智能浏览器自动化。

Oxylabs Scraper 工具

通过 Oxylabs 大规模访问网络数据。

Bright Data 工具

SERP 搜索、Web Unlocker 和数据集 API 集成。

​
常见用例

  • 数据提取：抓取产品信息、价格和评论
  • 内容监控：跟踪网站和新闻源的变化
  • 潜在客户生成：提取联系信息和业务数据
  • 市场研究：收集竞争情报和市场数据
  • 测试与质量保证：自动化浏览器测试和验证工作流程
  • 社交媒体：提取帖子、评论和社交媒体分析

​
快速入门示例

from crewai_tools import ScrapeWebsiteTool, FirecrawlScrapeWebsiteTool, SeleniumScrapingTool

# Create scraping tools
simple_scraper = ScrapeWebsiteTool()
advanced_scraper = FirecrawlScrapeWebsiteTool()
browser_automation = SeleniumScrapingTool()

# Add to your agent
agent = Agent(
    role="Web Research Specialist",
    tools=[simple_scraper, advanced_scraper, browser_automation],
    goal="Extract and analyze web data efficiently"
)

​
抓取最佳实践

  • 尊重 robots.txt：始终检查并遵守网站抓取政策
  • 速率限制：在请求之间实施延迟，以避免服务器过载
  • 用户代理：使用适当的用户代理字符串来识别您的机器人
  • 法律合规性：确保您的抓取活动符合服务条款
  • 错误处理：对网络问题和被阻止的请求实施强大的错误处理
  • 数据质量：在处理之前验证和清理提取的数据

​
工具选择指南

  • 简单任务：使用ScrapeWebsiteTool进行基本内容提取
  • JavaScript 重型网站：使用SeleniumScrapingTool处理动态内容
  • 规模与性能：使用FirecrawlScrapeWebsiteTool进行大容量抓取
  • 云基础设施：使用BrowserBaseLoadTool进行可扩展的浏览器自动化
  • 复杂工作流程：使用StagehandTool进行智能浏览器交互