跳转到主要内容
TrueFoundry 提供了一个企业级的 AI 网关，它可以与 CrewAI 等智能体框架集成，并为您的 AI 应用程序提供治理和可观测性。TrueFoundry AI 网关作为 LLM 访问的统一接口，提供：
  • 统一的 API 访问：通过一个 API 连接到超过 250 个 LLM (OpenAI, Claude, Gemini, Groq, Mistral)
  • 低延迟：通过智能路由和负载均衡，内部延迟低于 3 毫秒
  • 企业级安全：符合 SOC 2、HIPAA、GDPR 标准，具有 RBAC 和审计日志功能
  • 配额和成本管理：基于令牌的配额、速率限制和全面的使用情况跟踪
  • 可观测性：完整的请求/响应日志、指标和追踪，具有可自定义的保留期限

​
TrueFoundry 如何与 CrewAI 集成

​
安装与设置

1

安装 CrewAI

pip install crewai
2

获取 TrueFoundry 访问令牌

  1. 注册一个 TrueFoundry 账户
  2. 按照快速入门中的步骤操作
3

使用 TrueFoundry 配置 CrewAI

TrueFoundry Code Configuration
from crewai import LLM

# Create an LLM instance with TrueFoundry AI Gateway
truefoundry_llm = LLM(
    model="openai-main/gpt-4o",  # Similarly, you can call any model from any provider
    base_url="your_truefoundry_gateway_base_url",
    api_key="your_truefoundry_api_key"
)

# Use in your CrewAI agents
from crewai import Agent

@agent
def researcher(self) -> Agent:
    return Agent(
        config=self.agents_config['researcher'],
        llm=truefoundry_llm,
        verbose=True
    )

​
完整的 CrewAI 示例

from crewai import Agent, Task, Crew, LLM

# Configure LLM with TrueFoundry
llm = LLM(
    model="openai-main/gpt-4o",
    base_url="your_truefoundry_gateway_base_url", 
    api_key="your_truefoundry_api_key"
)

# Create agents
researcher = Agent(
    role='Research Analyst',
    goal='Conduct detailed market research',
    backstory='Expert market analyst with attention to detail',
    llm=llm,
    verbose=True
)

writer = Agent(
    role='Content Writer', 
    goal='Create comprehensive reports',
    backstory='Experienced technical writer',
    llm=llm,
    verbose=True
)

# Create tasks
research_task = Task(
    description='Research AI market trends for 2024',
    agent=researcher,
    expected_output='Comprehensive research summary'
)

writing_task = Task(
    description='Create a market research report',
    agent=writer,
    expected_output='Well-structured report with insights',
    context=[research_task]
)

# Create and execute crew
crew = Crew(
    agents=[researcher, writer],
    tasks=[research_task, writing_task],
    verbose=True
)

result = crew.kickoff()

​
可观测性与治理

通过 TrueFoundry 的指标选项卡监控您的 CrewAI 智能体： TrueFoundry 指标 借助 Truefoundry 的 AI 网关，您可以监控和分析：
  • 性能指标：跟踪关键延迟指标，如请求延迟、首个令牌生成时间 (TTFS) 和令牌间延迟 (ITL)，包括 P99、P90 和 P50 百分位数
  • 成本和令牌使用情况：通过详细的输入/输出令牌明细以及每个模型的相关费用，深入了解您的应用程序成本
  • 使用模式：通过关于用户活动、模型分布和基于团队的使用情况的详细分析，了解您的应用程序是如何被使用的
  • 速率限制和负载均衡：您可以为您的模型设置速率限制、负载均衡和备用方案

​
追踪

要更详细地了解追踪，请参阅追踪入门。对于追踪，您可以添加 Traceloop SDK：对于追踪，您可以添加 Traceloop SDK 
pip install traceloop-sdk

from traceloop.sdk import Traceloop

# Initialize enhanced tracing
Traceloop.init(
    api_endpoint="https://your-truefoundry-endpoint/api/tracing",
    headers={
        "Authorization": f"Bearer {your_truefoundry_pat_token}",
        "TFY-Tracing-Project": "your_project_name",
    },
)
这为您整个 CrewAI 工作流提供了额外的追踪关联。 TrueFoundry CrewAI 追踪
⌘我