yomxxx / posts / 2026-06-28-llm-observability-platforms-2026-tools
Tools

LLM 可观测性平台 2026 横评：Future AGI vs Arize vs Langfuse vs Confident AI

7 min read ·

一年前，“LLM 可观测性”还是一个新概念，大多数团队用 console.log 加上一个电子表格来记录模型输出。2026 年，这个领域已经高度成熟：专业平台提供从 span-level trace 到 LLM-judge 自动评分的全链路覆盖，与 OpenTelemetry 标准深度集成，支持 agent 多步骤会话的完整追踪。

问题不再是”要不要用可观测性工具”，而是”用哪个”。

本文实测对比四个主流平台：Future AGI、Arize AI（Phoenix/AX）、Langfuse、Confident AI，从核心能力、部署方式、定价、适用场景全面拆解。

背景：2026 年 LLM 可观测性的新标准

2025 年之前，LLM 可观测性平台主要做三件事：记录 prompt 和 response、统计 token 用量、显示请求延迟。这是”第一代”可观测性。

2026 年的成熟产品必须解决更复杂的问题：

Agent 会话追踪：单次 agent 任务可能涉及 20-50 次 LLM 调用、多个工具调用、外部 API 请求。需要将这些步骤组织成有意义的层级树，定位哪一步是瓶颈或错误点。

自动评估：依赖人工标注的质量评估无法规模化。主流平台现在内置 LLM-as-judge 评估模板，能自动对输出的事实准确性、幻觉程度、格式合规性等维度打分。

成本归因：大型 agent 系统每月可能消耗数十万美元的 API 费用，平台需要将成本精确归因到特定功能、用户群或 prompt 版本，支持优化决策。

多模型/多提供商：2026 年的生产系统通常混用多个 LLM（不同场景用 Claude、GPT、Gemini 等），平台需要统一追踪。

Future AGI

定位：开源 SDK + 商业平台，主打”完全自托管”和”自动化评估”

核心能力

Future AGI 的产品架构分两层：

开源层（Apache 2.0）：ai-evaluation SDK 提供：

商业平台：提供 Web 仪表盘，集中展示 trace、eval 分数、成本、延迟，支持多人协作和 A/B 对比。

快速集成示例

from fi.evals import Evaluator, HallucinationEvaluator
from fi.testcases import TestCase

# 初始化评估器（可选择本地模型或 API 后端）
evaluator = HallucinationEvaluator(
    model="QWEN3GUARD_8B",  # 本地推理，无需 API key
)

tc = TestCase(
    query="Python 中 list 和 tuple 有什么区别？",
    response=llm_output,
    context=retrieved_context,
)

result = evaluator.evaluate(tc)
print(f"幻觉评分: {result.score}, 原因: {result.reason}")

Trace 集成

from fi.integrations.langchain import FiCallbackHandler

handler = FiCallbackHandler(
    fi_api_key="your_key",
    project_name="my_agent_project"
)

# 自动追踪 LangChain 会话
chain = LLMChain(llm=llm, prompt=prompt, callbacks=[handler])

优势与局限

优势：

局限：

最适合：需要开源 guardrail、数据主权有要求、预算有限的工程团队

Arize AI（Phoenix + AX）

定位：企业级 AI 可观测性，OpenTelemetry 原生，多云部署

产品架构

Arize 有两个产品线：

OpenTelemetry 集成

Arize 的核心竞争力是 OpenTelemetry 原生集成，支持标准 OTLP 协议，几乎所有主流框架都有预构建的 instrumentation：

from arize.otel import register

# 一行代码开启全量自动仪表化
tracer_provider = register(
    space_id="your_space_id",
    api_key="your_api_key",
    model_id="my-llm-app",
)

# 之后所有 LangChain / LlamaIndex / OpenAI SDK 调用自动追踪
from opentelemetry.instrumentation.langchain import LangchainInstrumentor
LangchainInstrumentor().instrument()

Phoenix 本地 CLI（2026 年 1 月新增）

# 安装
pip install arize-phoenix

# 启动本地 UI（端口 6006）
phoenix serve

# 从 AI 编程助手中直接访问 trace 数据
phoenix query --trace-id abc123 --format json

Phoenix CLI 允许 Cursor、Claude Code 等 AI 编程助手直接在终端中查询 trace 数据，实现”代码修复 agent 同时分析自身 trace”的反馈循环。

Agent 会话的层级追踪

from opentelemetry import trace

tracer = trace.get_tracer("my_agent")

with tracer.start_as_current_span("plan_task") as plan_span:
    plan_span.set_attribute("llm.model", "claude-opus-4-8")
    plan = planner_llm.invoke(task)
    
    with tracer.start_as_current_span("execute_tools") as tool_span:
        for tool_call in plan.tool_calls:
            with tracer.start_as_current_span(f"tool.{tool_call.name}"):
                result = execute_tool(tool_call)

Arize 的 UI 将这些嵌套 span 渲染为瀑布图，可以直观看到 agent 的时序、耗时分布和错误位置。

优势与局限

优势：

局限：

最适合：已在 AWS/Azure 生态、需要标准 OTEL 集成、有企业 SLA 要求的团队

Langfuse

定位：trace 优先的 LLM 可观测性，开源自托管

核心特点

Langfuse 是这几个平台中开源程度最高的：后端可完整自托管，核心 trace 功能完全开源（MIT 协议）。2026 年 1 月被 Clickhouse 收购后，架构正在演进，但核心自托管方式暂未变化。

快速部署（Docker Compose）

# docker-compose.yml
version: "3"
services:
  langfuse:
    image: langfuse/langfuse:latest
    ports:
      - "3000:3000"
    environment:
      DATABASE_URL: postgresql://postgres:postgres@db:5432/langfuse
      NEXTAUTH_SECRET: your_secret
      NEXTAUTH_URL: http://localhost:3000
  
  db:
    image: postgres:15
    environment:
      POSTGRES_DB: langfuse
      POSTGRES_PASSWORD: postgres
docker-compose up -d
# 访问 http://localhost:3000 开始使用

SDK 集成

from langfuse import Langfuse
from langfuse.decorators import observe

langfuse = Langfuse()

@observe()
def my_llm_function(query: str) -> str:
    # 自动追踪此函数的所有子调用
    response = client.messages.create(
        model="claude-opus-4-8",
        messages=[{"role": "user", "content": query}]
    )
    return response.content[0].text

# 手动添加评估分数
def score_output(trace_id: str, score: float):
    langfuse.score(
        trace_id=trace_id,
        name="quality",
        value=score,
        comment="人工审核分数"
    )

Prompt 版本管理

Langfuse 的 Prompt Management 功能是其独特竞争力：

# 从 Langfuse 中央库获取最新 prompt 版本
prompt = langfuse.get_prompt("customer_support_v3")

# 自动关联 prompt 版本与对应 trace
response = client.messages.create(
    model="claude-haiku-4-5",
    messages=[{"role": "user", "content": prompt.compile(query=user_query)}],
)

# trace 会自动记录"这次调用使用了哪个 prompt 版本"
# 便于 A/B 分析哪个版本效果更好

优势与局限

优势：

局限：

最适合：强调数据主权、已有 Docker 运维能力、需要 Prompt 版本管理的团队

Confident AI

定位：Agent 行为评估和对话质量分析

核心差异化

Confident AI 的定位与其他三家有所不同：它更聚焦在”AI 系统行为是否符合预期”这一问题上，而不是底层的 trace 收集。

多轮对话评估：Confident AI 的竞争优势在于支持端到端对话评估，包括：

from deepeval import evaluate, assert_test
from deepeval.metrics import (
    AnswerRelevancyMetric, 
    ContextualPrecisionMetric,
    TaskCompletionMetric  # Agent 任务完成度专有指标
)
from deepeval.test_case import LLMTestCase, ConversationalTestCase

# Agent 对话级别评估
conversational_case = ConversationalTestCase(
    turns=[
        LLMTestCase(
            input="帮我订一张明天去上海的机票",
            actual_output=agent_response_1,
        ),
        LLMTestCase(
            input="改成商务舱",
            actual_output=agent_response_2,
        ),
    ],
    task_completion_expectation="用户成功订购了商务舱机票"
)

metrics = [TaskCompletionMetric(threshold=0.8)]
assert_test(conversational_case, metrics)

与 CI/CD 集成

# 在 CI pipeline 中运行评估套件
deepeval test run tests/llm_tests.py \
  --confident-api-key $CONFIDENT_API_KEY \
  --fail-on-score-below 0.7

# 失败的测试会在 Confident AI 仪表盘中高亮显示

优势与局限

优势：

局限：

最适合：已有 trace 基础设施（Arize/Langfuse），需要在顶层叠加 agent 行为评估的团队

选型矩阵

维度Future AGIArize AILangfuseConfident AI
开源程度SDK 开源，平台商业Phoenix 开源，AX 商业完全开源有限开源
自托管部分支持Phoenix 本地，AX 云完整支持有限支持
Agent trace良好优秀（OTEL 原生）良好基础
自动评估优秀（60+ 模板）中等中等优秀（对话级）
Guardrails优秀（13 后端）基础无内置基础
定价透明度中等低（需沟通）高（开源免费）低
企业合规中等优秀（AWS/Azure）良好中等
适合团队规模1-50 人50-500+ 人全规模10-100 人

常见误区

误区一：可观测性 = 监控

可观测性包含监控（是否正常运行），但更重要的是追溯性（为什么这次输出质量差）和比较性（哪个 prompt 版本更好）。只关注”是否出错”的监控，遗漏了 LLM 系统最重要的改进循环。

误区二：等到生产环境再接入

最佳实践是在开发阶段就接入轻量的 trace 收集（Langfuse 本地模式或 Phoenix 本地 UI），这样当 agent 行为异常时，你已经有历史对比数据。生产后再接入，初期没有 baseline，改进效果难以量化。

误区三：一个平台解决所有问题

事实上很多成熟团队会组合使用：Langfuse 做 trace 收集（开源自托管），Future AGI 的开源 SDK 做 guardrail（本地模型推理），Confident AI 做定期的 agent 行为评估（CI/CD 集成）。这三者互补，总成本可能低于单一的企业版平台。

小结

2026 年 LLM 可观测性平台的分化已经清晰：Arize 面向大企业多云场景，Langfuse 面向追求数据主权的自托管需求，Future AGI 以开源 guardrail 见长，Confident AI 专注 agent 对话评估。

选择工具的优先级应该是：业务阶段（早期 vs. 规模化） > 数据主权要求 > 技术栈匹配度 > 价格。不要在 MVP 阶段采购企业版平台，也不要在规模化阶段继续依赖 console.log。

Frequently asked questions

什么时候需要 LLM 可观测性平台？
当 LLM 应用进入生产阶段（或有正式测试流程）时就需要。具体信号：无法解释某次输出为何质量差；无法知道哪个 prompt 版本效果更好；agent 会话中途失败但不知道哪一步出了问题；成本/延迟超出预算但不知从何优化。这些问题靠 console.log 无法解决，需要专用工具。
Langfuse 被 Clickhouse 收购对用户意味着什么？
2026 年 1 月 Langfuse 被 Clickhouse 收购，架构正在向混合部署模式转变。对现有用户的影响：trace 数据的路由逻辑可能调整，有严格数据驻留要求的团队应在合同续期前向 Langfuse 确认数据处理策略。收购也可能带来更强的大数据分析能力，但短期内存在不确定性。
Future AGI 的 Apache 2.0 开源库能替代付费平台吗？
可以替代部分功能。Future AGI 的 ai-evaluation 开源 SDK 提供 60+ EvalTemplate 和 13 种 guardrail 后端，可以在本地做评估而无需付费。但仪表盘可视化、多人协作、成本聚合分析等功能只在商业版中提供。对于 solo 开发者或小团队，开源 SDK 足够；对于多人工程团队，商业版才能真正发挥价值。
这些平台支持哪些 LLM 框架？
主流框架均支持：LangChain、LangGraph、LlamaIndex、OpenAI Agents SDK、AutoGen、CrewAI、Haystack 等。集成方式通常是 SDK 自动仪表化（auto-instrumentation）或 OpenTelemetry 标准 span。Arize 的 Phoenix 通过 OpenInference 规范覆盖最广，Future AGI 和 Langfuse 对 LangGraph 的支持在 2026 年 Q1 更新后趋于成熟。
对于一个 10 人工程团队，建议用哪个平台？
如果预算有限且对数据主权有要求，选 Langfuse 自托管（开源，Docker 部署）；如果需要开箱即用的评估能力和 guardrail，选 Future AGI 的商业版（定价相对亲民，$2.83M 融资规模的初创，有创业公司折扣）；如果团队已在 AWS/Azure 生态并需要企业级 SLA，选 Arize AX（AWS Marketplace 可直接购买）。
// next.txt ›
📬 Subscribe
Frontier Brief
One signal per week. No AI filler.
🛠️ Work With Me
AI engineering, hands-on
Architecture review, RAG audit, build sprints.
💼 Sponsor
Reach senior AI engineers
Newsletter slots, sponsored deep-dives.

Some outbound links in this post are affiliate links — see disclosure.

// related.json ›
Long-form

Gemini 3.5 Pro 跳票背后：2026 年大模型竞争的真实战场已经转移

Google 将 Gemini 3.5 Pro 延期至 7 月，表面是调参，实质是 2026 年大模型竞争逻辑的缩影——比拼的不再是通用 MMLU 分数，而是 agent 能力、推理成本和工作流集成深度。

7 min read
 Weekly

AI 周报 2026-W26：Composer 2 自研编程模型 / Gemini 3.5 Pro 延期 / Qwen-AgentWorld / Agent 记忆系统评估

2026 年第 26 周 AI 要点速览：Cursor 发布 Composer 2 编程专用模型、Google 延期 Gemini 3.5 Pro、阿里 Qwen-AgentWorld 语言世界模型开源、Agent 记忆系统系统性评估报告，以及 LLM 可观测性工具的成熟。

5 min read
 Tools

工具速评：6 款 AI Agent 可观测性平台横评（2026 年 6 月）

Agent 上了生产，你能看见它每一步的推理、工具调用和烧了多少钱吗？本文横评 Langfuse、LangSmith、Phoenix、AgentOps、Helicone、Braintrust 六款可观测性平台，从 tracing、评测、自托管到 OpenTelemetry 支持逐一对比，并给出按场景的选型建议。

6 min read