Langfuse 概览
Langfuse 是一个开源的 LLM 工程平台（GitHub），帮助团队协作调试、分析和迭代他们的 LLM 应用。平台所有功能均原生集成，旨在加速开发工作流程。Langfuse 是开源的、可自托管且可扩展的（为什么选择 Langfuse？）。
可观测性
- 日志追踪
- 最低层级的透明度
- 了解成本与延迟
提示词 (Prompts)
- 版本控制与部署
- 协作处理提示词
- 测试提示词与模型
评估
- 衡量输出质量
- 监控生产环境运行状况
- 在开发中测试变更
平台
- API 优先架构
- 导出数据至对象存储
- 企业级安全与管理
可观测性
可观测性 (Observability) 对于理解和调试 LLM 应用至关重要。与传统软件不同，LLM 应用涉及复杂且非确定性的交互，监控和调试难度较大。Langfuse 提供全面的追踪功能，帮助您准确了解应用内部的运行情况。
- 追踪涵盖所有 LLM 及非 LLM 调用，包括检索、嵌入、API 调用等
- 支持将多轮对话作为会话进行追踪，并支持用户追踪
- 智能体 (Agents) 可表现为图结构
- 通过我们的原生 Python/JS SDK、50 多个库/框架集成、OpenTelemetry 或通过 LiteLLM 等 LLM 网关捕获追踪数据
- 基于 OpenTelemetry，增强兼容性并减少供应商锁定
想看示例？请尝试我们的交互式演示。
想了解更多？请观看 Langfuse 可观测性的端到端演示，了解如何将其集成到您的应用中（点击观看）。
追踪功能让您可以追踪应用中的每一次 LLM 调用及其他相关逻辑。
会话 (Sessions) 允许您追踪多步骤对话或智能体工作流。
通过查看时间轴视图来调试延迟问题。
添加您自己的 userId 以监控每位用户的成本和使用情况。您可以选择在您的系统中创建指向此视图的深层链接。
LLM 智能体可以可视化为图表，以展示复杂智能体工作流的流转过程。
在仪表板中查看质量、成本和延迟指标，以监控您的 LLM 应用。
提示词管理
提示词管理 (Prompt Management) 是构建有效 LLM 应用的关键。Langfuse 提供的工具可帮助您在整个开发生命周期中管理、版本化和优化提示词。
- 开始使用提示词管理
- 在整个开发生命周期中管理、版本化和优化您的提示词
- 在 LLM 游乐场 (Playground) 中交互式地测试提示词
- 直接在 Langfuse 中针对数据集运行实验，以测试新的提示词版本
想了解更多？请观看 Langfuse 提示词管理的端到端演示，了解如何将其集成到您的应用中（点击观看）。
通过 UI、SDK 或 API 创建新提示词。
通过 UI、API 或 SDK 协作进行版本控制和编辑提示词。
通过标签将提示词部署到生产或任何环境——无需任何代码变更。
比较不同提示词版本的延迟、成本和评估指标。
在游乐场中即时测试您的提示词。
将提示词与追踪关联，以了解它们在 LLM 应用场景中的表现。
追踪提示词的变更，了解它们如何随时间演变。
评估
评估 (Evaluation) 对于确保 LLM 应用的质量和可靠性至关重要。Langfuse 提供灵活的评估工具，可适应您的特定需求，无论您是在进行开发测试还是监控生产环境表现。
- 开始使用不同的评估方法：LLM-as-a-judge（LLM 作为评判者）、用户反馈、人工标注或自定义评估。
- 通过在生产追踪中运行评估，尽早发现问题
- 创建并管理数据集，以便在开发中进行系统性测试，确保您的应用在不同场景下均能可靠运行
- 运行实验以系统性地测试您的 LLM 应用
想了解更多？请观看 Langfuse 评估的端到端演示，了解如何用它来提升您的 LLM 应用（点击观看）。
在 Langfuse 仪表板中绘制评估结果。
收集用户反馈。可通过我们的浏览器 SDK 在前端捕获，或通过服务器端 SDK/API 捕获。视频包含示例应用。
在生产或开发追踪上运行全托管的“LLM 作为评判者”评估。可应用于应用内的任何步骤，进行分步评估。
直接在用户界面中评估数据集上的提示词和模型。无需编写自定义代码。
通过标注队列进行人工标注，以此建立评估工作流的基准。
添加自定义评估结果，支持数字、布尔值和分类值。
POST /api/public/scores通过 Python 或 JS SDK 添加评分。
langfuse.score(
trace_id="123",
name="my_custom_evaluator",
value=0.5,
)从哪里开始？
建立在线追踪、提示词管理、生产环境评估以识别问题，以及在数据集上进行离线评估的完整流程需要一定时间。本指南旨在帮助您找出最适合您用例的重点。
从原型 (PoC) 到生产的简化生命周期
快速开始
在几分钟内运行起 Langfuse。选择最符合您当前需求的路径：
为什么选择 Langfuse？
- 开源：完全开源，提供用于自定义集成的公共 API
- 生产环境优化：设计时考虑了极低的性能开销
- 一流的 SDK：提供 Python 和 JavaScript 原生 SDK
- 框架支持：与 OpenAI SDK、LangChain 和 LlamaIndex 等主流框架集成
- 多模态：支持追踪文本、图像及其他模态
- 全套平台：提供涵盖 LLM 应用开发生命周期的全套工具
社区与联系方式
我们正与社区共同开源积极开发 Langfuse
- 参与贡献并投票决定 Langfuse 路线图。
- 在 GitHub 讨论区 或私有支持渠道中提问。
- 通过 GitHub Issues 反馈 Bug。
- 在 Discord 上与社区交流。
- 为什么人们选择 Langfuse？
Langfuse 迭代迅速，查看更新日志 (Changelog)以获取最新动态。订阅邮件列表以获取重大功能通知。
