OpenLIT 概述
OpenLIT 是一个开源工具,只需一行代码,就能轻松监控 AI 智能体、LLM、向量数据库和 GPU 的性能。 它提供 OpenTelemetry 原生追踪和指标,以跟踪成本、延迟、交互和任务序列等重要参数。此设置使您能够跟踪超参数并监控性能问题,帮助您找到随时间推移增强和微调智能体的方法。


OpenLIT 仪表板
功能
- 分析仪表板:通过详细的仪表板监控智能体的健康状况和性能,这些仪表板可跟踪指标、成本和用户交互。
- OpenTelemetry 原生可观测性 SDK:厂商中立的 SDK,可将追踪和指标发送到您现有的可观测性工具,如 Grafana、DataDog 等。
- 自定义和微调模型的成本跟踪:使用自定义定价文件为特定模型量身定制成本估算,实现精确预算。
- 异常监控仪表板:通过监控仪表板跟踪常见异常和错误,快速发现并解决问题。
- 合规性与安全:检测潜在威胁,如不雅内容和个人身份信息 (PII) 泄露。
- 提示注入检测:识别潜在的代码注入和密钥泄露。
- API 密钥和机密管理:集中安全地处理您的 LLM API 密钥和机密,避免不安全的做法。
- 提示管理:使用 PromptHub 管理和版本化智能体提示,确保在各个智能体之间轻松、一致地访问。
- 模型游乐场:在部署前,测试和比较适用于您的 CrewAI 智能体的不同模型。
设置说明
1
部署 OpenLIT
1
Git 克隆 OpenLIT 仓库
2
启动 Docker Compose
在 OpenLIT 仓库 的根目录下,运行以下命令
2
安装 OpenLIT SDK
3
在您的应用程序中初始化 OpenLIT
4
可视化与分析
现在,智能体可观测性数据正在被收集并发送到 OpenLIT,下一步是可视化和分析这些数据,以获取对智能体性能、行为的洞察,并确定改进领域。只需在浏览器中访问 

127.0.0.1:3000 的 OpenLIT,即可开始探索。您可以使用默认凭据登录- 邮箱:
user@openlit.io - 密码:
openlituser


OpenLIT 仪表板
