跳转到主要内容

​
Langtrace 概述

Langtrace 是一个开源的外部工具，可帮助您为大型语言模型 (LLM)、LLM 框架和矢量数据库设置可观测性和评估。虽然它不是 CrewAI 的内置功能，但 Langtrace 可以与 CrewAI 一起使用，以深入了解您的 CrewAI 代理的成本、延迟和性能。此集成允许您记录超参数、监控性能回归，并为您的代理建立持续改进流程。 Overview of a select series of agent session runs Overview of agent traces Overview of llm traces in details

​
设置说明

1

注册 Langtrace

请访问 https://langtrace.ai/signup 注册。
2

创建项目

将项目类型设置为 CrewAI 并生成 API 密钥。
3

在您的 CrewAI 项目中安装 Langtrace

使用以下命令
pip install langtrace-python-sdk
4

导入 Langtrace

在脚本开头，任何 CrewAI 导入之前，导入并初始化 Langtrace
from langtrace_python_sdk import langtrace
langtrace.init(api_key='<LANGTRACE_API_KEY>')

# Now import CrewAI modules
from crewai import Agent, Task, Crew

​
功能及其在 CrewAI 中的应用

  1. LLM Token 和成本追踪
    • 监控每个 CrewAI 代理交互的 token 使用量和相关成本。
  2. 执行步骤的跟踪图
    • 可视化您的 CrewAI 任务的执行流程，包括延迟和日志。
    • 有助于识别代理工作流中的瓶颈。
  3. 带手动标注的数据集整理
    • 从您的 CrewAI 任务输出创建数据集，用于未来的训练或评估。
  4. 提示版本控制和管理
    • 跟踪您的 CrewAI 代理中使用的不同版本的提示。
    • 有助于 A/B 测试和优化代理性能。
  5. 带模型比较的提示演练场
    • 在部署前测试和比较您的 CrewAI 代理的不同提示和模型。
  6. 测试和评估
    • 为您的 CrewAI 代理和任务设置自动化测试。