跳转到主要内容
TrueFoundry 提供了一个企业级的 AI 网关，它可以与 CrewAI 等代理框架集成，并为您的 AI 应用程序提供治理和可观察性。TrueFoundry AI 网关作为 LLM 访问的统一接口，提供：
  • 统一 API 访问：通过一个 API 连接 250+ LLM（OpenAI、Claude、Gemini、Groq、Mistral）
  • 低延迟：通过智能路由和负载均衡实现亚 3 毫秒的内部延迟
  • 企业安全：符合 SOC 2、HIPAA、GDPR 标准，支持 RBAC 和审计日志
  • 配额和成本管理：基于令牌的配额、速率限制和全面的使用情况跟踪
  • 可观察性：完整的请求/响应日志、指标和可定制保留期的跟踪

​
TrueFoundry 如何与 CrewAI 集成

​
安装与设置

1

安装 CrewAI

pip install crewai
2

获取 TrueFoundry 访问令牌

  1. 注册 TrueFoundry 账户
  2. 按照 快速入门 中的步骤操作
3

使用 TrueFoundry 配置 CrewAI

TrueFoundry Code Configuration
from crewai import LLM

# Create an LLM instance with TrueFoundry AI Gateway
truefoundry_llm = LLM(
    model="openai-main/gpt-4o",  # Similarly, you can call any model from any provider
    base_url="your_truefoundry_gateway_base_url",
    api_key="your_truefoundry_api_key"
)

# Use in your CrewAI agents
from crewai import Agent

@agent
def researcher(self) -> Agent:
    return Agent(
        config=self.agents_config['researcher'],
        llm=truefoundry_llm,
        verbose=True
    )

​
完整的 CrewAI 示例

from crewai import Agent, Task, Crew, LLM

# Configure LLM with TrueFoundry
llm = LLM(
    model="openai-main/gpt-4o",
    base_url="your_truefoundry_gateway_base_url", 
    api_key="your_truefoundry_api_key"
)

# Create agents
researcher = Agent(
    role='Research Analyst',
    goal='Conduct detailed market research',
    backstory='Expert market analyst with attention to detail',
    llm=llm,
    verbose=True
)

writer = Agent(
    role='Content Writer', 
    goal='Create comprehensive reports',
    backstory='Experienced technical writer',
    llm=llm,
    verbose=True
)

# Create tasks
research_task = Task(
    description='Research AI market trends for 2024',
    agent=researcher,
    expected_output='Comprehensive research summary'
)

writing_task = Task(
    description='Create a market research report',
    agent=writer,
    expected_output='Well-structured report with insights',
    context=[research_task]
)

# Create and execute crew
crew = Crew(
    agents=[researcher, writer],
    tasks=[research_task, writing_task],
    verbose=True
)

result = crew.kickoff()

​
可观察性和治理

通过 TrueFoundry 的指标选项卡监控您的 CrewAI 代理： TrueFoundry metrics 借助 TrueFoundry 的 AI 网关，您可以监控和分析：
  • 性能指标：跟踪关键延迟指标，如请求延迟、首令牌时间 (TTFS) 和令牌间延迟 (ITL)，并提供 P99、P90 和 P50 百分位数
  • 成本和令牌使用情况：通过详细的输入/输出令牌细分以及每个模型的相关费用，了解应用程序的成本
  • 使用模式：通过用户活动、模型分布和基于团队的使用情况的详细分析，了解应用程序的使用方式
  • 速率限制和负载均衡：您可以为您的模型设置速率限制、负载均衡和回退

​
追踪

有关跟踪的更详细理解，请参阅 getting-started-tracing。对于跟踪，您可以添加 Traceloop SDK：对于跟踪，您可以添加 Traceloop SDK 
pip install traceloop-sdk

from traceloop.sdk import Traceloop

# Initialize enhanced tracing
Traceloop.init(
    api_endpoint="https://your-truefoundry-endpoint/api/tracing",
    headers={
        "Authorization": f"Bearer {your_truefoundry_pat_token}",
        "TFY-Tracing-Project": "your_project_name",
    },
)
这在您的整个 CrewAI 工作流程中提供了额外的跟踪关联。 TrueFoundry CrewAI Tracing