Agent 监控与可观测性
OpenLIT 集成
只需一行代码,即可使用 OpenTelemetry 快速开始监控您的 Agent。
OpenLIT 概述
OpenLIT 是一个开源工具,只需一行代码即可轻松监控 AI Agent、LLM、VectorDB 和 GPU 的性能。
它提供 OpenTelemetry 原生的追踪和指标,用于跟踪成本、延迟、交互和任务序列等重要参数。此设置使您能够跟踪超参数并监控性能问题,帮助您随着时间推移找到改进和优化 Agent 的方法。
OpenLIT 控制面板
功能
- 分析控制面板:通过详细的控制面板监控您的 Agent 的健康状况和性能,跟踪指标、成本和用户交互。
- OpenTelemetry 原生可观测性 SDK:供应商中立的 SDK,可将追踪和指标发送到您现有的可观测性工具,如 Grafana、DataDog 等。
- 自定义和微调模型成本跟踪:使用自定义定价文件为特定模型量身定制成本估算,以实现精确预算。
- 异常监控控制面板:通过监控控制面板跟踪常见异常和错误,快速发现并解决问题。
- 合规性和安全性:检测潜在威胁,例如脏话和个人身份信息 (PII) 泄露。
- Prompt 注入检测:识别潜在的代码注入和秘密泄露。
- API 密钥和秘密管理:集中安全地处理您的 LLM API 密钥和秘密,避免不安全的做法。
- Prompt 管理:使用 PromptHub 管理和版本化 Agent Prompt,以便在 Agent 之间实现一致且轻松的访问。
- 模型演练场:在部署 CrewAI Agent 之前,测试和比较不同的模型。
设置说明
1
部署 OpenLIT
1
Git 克隆 OpenLIT 仓库
2
启动 Docker Compose
从 OpenLIT 仓库 的根目录运行以下命令
2
安装 OpenLIT SDK
3
在您的应用程序中初始化 OpenLIT
将以下两行代码添加到您的应用程序代码中
监控 CrewAI Agent 的示例用法
监控 CrewAI Agent 的示例用法
将以下两行代码添加到您的应用程序代码中
运行以下命令配置 OTEL 导出端点
监控 CrewAI 异步 Agent 的示例用法
请参阅 OpenLIT Python SDK 仓库,了解更多高级配置和用例。
4
可视化和分析
Agent 可观测性数据现在已收集并发送到 OpenLIT,下一步是可视化和分析这些数据,以深入了解您的 Agent 的性能和行为,并确定需要改进的领域。
只需在浏览器中访问 127.0.0.1:3000
上的 OpenLIT 即可开始探索。您可以使用默认凭据登录
- 电子邮件:
user@openlit.io
- 密码:
openlituser
OpenLIT 控制面板