​
Langtrace 概览

Langtrace 是一款开源的外部工具，可帮助您为大型语言模型 (LLM)、LLM 框架和向量数据库设置可观测性和评估。虽然未直接内置于 CrewAI 中，但 Langtrace 可以与 CrewAI 一起使用，以深入了解 CrewAI Agent 的成本、延迟和性能。此集成使您可以记录超参数、监控性能退步，并建立持续改进 Agent 的流程。

​
设置说明

1

注册 Langtrace

访问 https://langtrace.ai/signup 进行注册。

2

创建项目

将项目类型设置为 CrewAI 并生成 API 密钥。

3

在您的 CrewAI 项目中安装 Langtrace

使用以下命令

pip install langtrace-python-sdk
4

导入 Langtrace

在脚本开头、任何 CrewAI 导入之前导入并初始化 Langtrace

from langtrace_python_sdk import langtrace
langtrace.init(api_key='<LANGTRACE_API_KEY>')

# Now import CrewAI modules
from crewai import Agent, Task, Crew

​
特性及其在 CrewAI 中的应用

  1. LLM Token 和成本跟踪

    • 监控每个 CrewAI Agent 交互的 token 使用情况和相关成本。

  2. 执行步骤的 Trace 图

    • 可视化您的 CrewAI 任务执行流程，包括延迟和日志。
    • 有助于识别 Agent 工作流程中的瓶颈。

  3. 带手动标注的数据集整理

    • 根据您的 CrewAI 任务输出创建数据集，用于未来的训练或评估。

  4. Prompt 版本控制和管理

    • 跟踪 CrewAI Agent 中使用的不同版本的 prompt。
    • 有助于 A/B 测试和优化 Agent 性能。

  5. Prompt 演练场及模型比较

    • 在部署 CrewAI Agent 之前，测试和比较不同的 prompt 和模型。

  6. 测试与评估

    • 为您的 CrewAI Agent 和任务设置自动化测试。