跳转到主要内容

Bright Data 工具

这套工具集成了用于网页提取的 Bright Data 服务。

安装

uv add crewai-tools requests aiohttp

环境变量

  • BRIGHT_DATA_API_KEY(必需)
  • BRIGHT_DATA_ZONE(用于 SERP/Web Unlocker)
https://brightdata.com/ 创建凭据(注册,然后创建 API 令牌和区域)。请参阅其文档:https://developers.brightdata.com/

包含的工具

  • BrightDataSearchTool:SERP 搜索(Google/Bing/Yandex),支持地理位置/语言/设备选项。
  • BrightDataWebUnlockerTool:通过反机器人绕过和渲染功能抓取页面。
  • BrightDataDatasetTool:运行数据集 API 作业并获取结果。

示例

代码
from crewai_tools import BrightDataSearchTool

tool = BrightDataSearchTool(
    query="CrewAI", 
    country="us",
)

print(tool.run())

Web Unlocker

代码
from crewai_tools import BrightDataWebUnlockerTool

tool = BrightDataWebUnlockerTool(
    url="https://example.com", 
    format="markdown",
)

print(tool.run(url="https://example.com"))

数据集 API

代码
from crewai_tools import BrightDataDatasetTool

tool = BrightDataDatasetTool(
    dataset_type="ecommerce", 
    url="https://example.com/product",
)

print(tool.run())

故障排除

  • 401/403:请验证 BRIGHT_DATA_API_KEYBRIGHT_DATA_ZONE
  • 内容为空/被阻止:启用渲染或尝试不同的区域。

示例

代码
from crewai import Agent, Task, Crew
from crewai_tools import BrightDataSearchTool

tool = BrightDataSearchTool(
    query="CrewAI", 
    country="us",
)

agent = Agent(
    role="Web Researcher",
    goal="Search with Bright Data",
    backstory="Finds reliable results",
    tools=[tool],
    verbose=True,
)

task = Task(
    description="Search for CrewAI and summarize top results",
    expected_output="Short summary with links",
    agent=agent,
)

crew = Crew(
    agents=[agent], 
    tasks=[task],
    verbose=True,
)

result = crew.kickoff()