跳转到主要内容

​
Langtrace 概述

Langtrace 是一个开源的外部工具，可帮助您为大型语言模型（LLM）、LLM 框架和向量数据库设置可观测性和评估。虽然 Langtrace 没有直接内置于 CrewAI 中，但可以与 CrewAI 结合使用，以深入了解 CrewAI Agent 的成本、延迟和性能。通过此集成，您可以记录超参数，监控性能回归，并建立持续改进 Agent 的流程。 精选的一系列代理会话运行概览 代理追踪概览 llm追踪详情概览

​
设置说明

1

注册 Langtrace

访问 https://langtrace.ai/signup 进行注册。
2

创建一个项目

将项目类型设置为 CrewAI 并生成一个 API 密钥。
3

在您的 CrewAI 项目中安装 Langtrace

使用以下命令
pip install langtrace-python-sdk
4

导入 Langtrace

在脚本的开头，在任何 CrewAI 导入之前，导入并初始化 Langtrace
from langtrace_python_sdk import langtrace
langtrace.init(api_key='<LANGTRACE_API_KEY>')

# Now import CrewAI modules
from crewai import Agent, Task, Crew

​
功能及其在 CrewAI 中的应用

  1. LLM 令牌和成本跟踪
    • 监控每个 CrewAI 代理交互的令牌使用量和相关成本。
  2. 执行步骤的跟踪图
    • 可视化您的 CrewAI 任务的执行流程，包括延迟和日志。
    • 有助于识别代理工作流程中的瓶颈。
  3. 通过手动标注进行数据集管理
    • 从您的 CrewAI 任务输出中创建数据集，以用于未来的训练或评估。
  4. 提示版本控制和管理
    • 跟踪在您的 CrewAI 代理中使用的不同版本的提示。
    • 有助于 A/B 测试和优化代理性能。
  5. 具有模型比较功能的提示演练场
    • 在部署之前，为您的 CrewAI 代理测试和比较不同的提示和模型。
  6. 测试和评估
    • 为您的 CrewAI 代理和任务设置自动化测试。
⌘我