OpenLIT 概览
OpenLIT 是一个开源工具,只需一行代码即可轻松监控 AI 代理、LLM、VectorDB 和 GPU 的性能。 它提供 OpenTelemetry 原生跟踪和指标,用于跟踪成本、延迟、交互和任务序列等重要参数。此设置使您能够跟踪超参数并监控性能问题,帮助您找到随着时间推移改进和微调代理的方法。


OpenLIT 仪表盘
功能
- 分析仪表盘:通过详细的仪表盘监控您的 Agent 健康状况和性能,跟踪指标、成本和用户交互。
- OpenTelemetry 原生可观测性 SDK:与供应商无关的 SDK,可将跟踪和指标发送到您现有的可观测性工具,如 Grafana、DataDog 等。
- 自定义和微调模型的成本跟踪:使用自定义定价文件为特定模型量身定制成本估算,实现精确预算。
- 异常监控仪表盘:通过监控仪表盘跟踪常见异常和错误,快速发现并解决问题。
- 合规性和安全性:检测潜在威胁,如脏话和个人身份信息 (PII) 泄露。
- 提示注入检测:识别潜在的代码注入和秘密泄露。
- API 密钥和秘密管理:集中安全地处理您的 LLM API 密钥和秘密,避免不安全的做法。
- 提示管理:使用 PromptHub 管理和版本化 Agent 提示,以便在所有 Agent 中保持一致且易于访问。
- 模型游乐场:在部署之前测试和比较 CrewAI 代理的不同模型。
设置说明
1
部署 OpenLIT
1
Git 克隆 OpenLIT 仓库
2
启动 Docker Compose
在 OpenLIT 仓库 的根目录下,运行以下命令
2
安装 OpenLIT SDK
3
在您的应用程序中初始化 OpenLIT
4
可视化和分析
Agent 可观测性数据已收集并发送到 OpenLIT,下一步是可视化和分析这些数据,以深入了解 Agent 的性能、行为并确定改进领域。只需在浏览器中访问 

127.0.0.1:3000 上的 OpenLIT,即可开始探索。您可以使用默认凭据登录- 电子邮件:
[email protected] - 密码:
openlituser


OpenLIT 仪表盘
