跳转到主要内容

OpenLIT 概述

OpenLIT 是一个开源工具,只需一行代码,就能轻松监控 AI 智能体、LLM、向量数据库和 GPU 的性能。 它提供 OpenTelemetry 原生追踪和指标,以跟踪成本、延迟、交互和任务序列等重要参数。此设置使您能够跟踪超参数并监控性能问题,帮助您找到随时间推移增强和微调智能体的方法。
Overview Agent usage including cost and tokensOverview of agent otel traces and metricsOverview of agent traces in details

OpenLIT 仪表板

功能

  • 分析仪表板:通过详细的仪表板监控智能体的健康状况和性能,这些仪表板可跟踪指标、成本和用户交互。
  • OpenTelemetry 原生可观测性 SDK:厂商中立的 SDK,可将追踪和指标发送到您现有的可观测性工具,如 Grafana、DataDog 等。
  • 自定义和微调模型的成本跟踪:使用自定义定价文件为特定模型量身定制成本估算,实现精确预算。
  • 异常监控仪表板:通过监控仪表板跟踪常见异常和错误,快速发现并解决问题。
  • 合规性与安全:检测潜在威胁,如不雅内容和个人身份信息 (PII) 泄露。
  • 提示注入检测:识别潜在的代码注入和密钥泄露。
  • API 密钥和机密管理:集中安全地处理您的 LLM API 密钥和机密,避免不安全的做法。
  • 提示管理:使用 PromptHub 管理和版本化智能体提示,确保在各个智能体之间轻松、一致地访问。
  • 模型游乐场:在部署前,测试和比较适用于您的 CrewAI 智能体的不同模型。

设置说明

1

部署 OpenLIT

1

Git 克隆 OpenLIT 仓库

git clone git@github.com:openlit/openlit.git
2

启动 Docker Compose

OpenLIT 仓库 的根目录下,运行以下命令
docker compose up -d
2

安装 OpenLIT SDK

pip install openlit
3

在您的应用程序中初始化 OpenLIT

将以下两行代码添加到您的应用程序代码中
  • 使用函数参数进行设置
  • 使用环境变量进行设置
import openlit
openlit.init(otlp_endpoint="http://127.0.0.1:4318")
监控 CrewAI 智能体的用法示例
from crewai import Agent, Task, Crew, Process
import openlit

openlit.init(disable_metrics=True)
# Define your agents
researcher = Agent(
    role="Researcher",
    goal="Conduct thorough research and analysis on AI and AI agents",
    backstory="You're an expert researcher, specialized in technology, software engineering, AI, and startups. You work as a freelancer and are currently researching for a new client.",
    allow_delegation=False,
    llm='command-r'
)


# Define your task
task = Task(
    description="Generate a list of 5 interesting ideas for an article, then write one captivating paragraph for each idea that showcases the potential of a full article on this topic. Return the list of ideas with their paragraphs and your notes.",
    expected_output="5 bullet points, each with a paragraph and accompanying notes.",
)

# Define the manager agent
manager = Agent(
    role="Project Manager",
    goal="Efficiently manage the crew and ensure high-quality task completion",
    backstory="You're an experienced project manager, skilled in overseeing complex projects and guiding teams to success. Your role is to coordinate the efforts of the crew members, ensuring that each task is completed on time and to the highest standard.",
    allow_delegation=True,
    llm='command-r'
)

# Instantiate your crew with a custom manager
crew = Crew(
    agents=[researcher],
    tasks=[task],
    manager_agent=manager,
    process=Process.hierarchical,
)

# Start the crew's work
result = crew.kickoff()

print(result)
有关更高级的配置和用例,请参阅 OpenLIT Python SDK 仓库
4

可视化与分析

现在,智能体可观测性数据正在被收集并发送到 OpenLIT,下一步是可视化和分析这些数据,以获取对智能体性能、行为的洞察,并确定改进领域。只需在浏览器中访问 127.0.0.1:3000 的 OpenLIT,即可开始探索。您可以使用默认凭据登录
  • 邮箱user@openlit.io
  • 密码openlituser
Overview Agent usage including cost and tokensOverview of agent otel traces and metrics

OpenLIT 仪表板