2026年,AI Agent赛道卷到了新高度。但斯坦福/MIT的实验揭示了一个残酷事实:同一模型,优化Harness后性能从27.5%飙升至37.6%——模型没换,代码没改,只是工程结构变了。 当大多数开发者还在纠结"要不要升级到GPT-5"时,真正的高手已经开始重构Agent周围的工程层了。

Harness工程:2026年Agent开发的核心范式
卡内基梅隆、耶鲁、亚马逊等机构联合提出的ETCLOVG七层架构,首次将Agent工程拆解为:执行环境(Execution)、工具(Tools)、上下文(Context)、编排(Orchestration)、可观测性(Observability)、治理(Governance)、多Agent协作(multiAgent)。其中,可观测性和治理被提升为独立架构层——不再是"上线后再加的监控",而是从第一天就要设计的基础设施。
这意味着什么?不会设计可观测层的开发者,正在被Agent时代淘汰。
可观测性不是"加个日志",而是Agent的神经系统
传统开发者习惯在代码里加print和logger,但对Agent应用来说,这远远不够。一次Agent任务可能包含多轮LLM调用、工具选择、RAG检索、上下文拼接——你需要的是语义化的链路追踪,而不是散落的文本日志。
AgentInsight SDK基于OpenTelemetry协议,用@observe装饰器让Agent链路自动结构化:
from agentinsight import observe
@observe(as_type="agent", name="research-agent")
def research_agent(query: str) -> str:
plan = plan_research(query) # chain层:规划
data = search_and_retrieve(plan) # tool + retriever层:检索
answer = synthesize(query, data) # generation层:生成
return answer
@observe(as_type="chain", name="research-planning")
def plan_research(query: str) -> str:
return f"搜索策略: {query}"
@observe(as_type="tool", name="web-search")
def search_and_retrieve(plan: str) -> list[str]:
# 工具调用——这里经常出幻觉
return ["result_1", "result_2"]
@observe(as_type="generation", name="answer-synthesis")
def synthesize(query: str, data: list[str]) -> str:
context = "\n".join(data)
# LLM生成——Token消耗的大头
return f"基于{context}的回答"
每个@observe自动成为Trace中的一个Span,嵌套调用自动建立父子关系。在AgentInsight平台上,你会看到:
research-agent (agent)
├── research-planning (chain)
├── web-search (tool)
└── answer-synthesis (generation)
从"黑盒Agent"到"可诊断Agent":一行代码接入OpenAI监控
如果你用的是OpenAI SDK,AgentInsight只需要改一行import:
# 只改这一行
from agentinsight.openai import openai
client = openai.OpenAI()
response = client.chat.completions.create(
model="gpt-4",
messages=[{"role": "user", "content": "分析这份财报"}],
)
自动采集:Prompt/Completion内容、请求延迟、Token用量、调用成本、API错误。不需要改任何业务代码。
评分系统:让Agent质量可量化
Harness工程的核心闭环是"观测→评估→优化"。AgentInsight内置三种评分类型:
from agentinsight import get_client
from agentinsight.api.commons.types.score_data_type import ScoreDataType
client = get_client()
with client.start_as_current_observation(
name="quality-check", as_type="evaluator"
) as span:
span.score(name="accuracy", value=0.91, data_type=ScoreDataType.NUMERIC)
span.score(name="safe", value=1.0, data_type=ScoreDataType.BOOLEAN)
span.score(name="tone", value="professional", data_type=ScoreDataType.CATEGORICAL)
client.flush()
结合实验框架,可以A/B测试不同Prompt版本、不同模型的效果,用数据驱动优化——而不是"感觉变好了"。
写在最后
2026年Agent竞争的焦点,已经从"谁的模型更强"转向"谁的Harness更完善"。可观测性作为ETCLOVG架构中的独立层,决定了你能否快速定位Agent失败、控制Token成本、量化输出质量。
会调API的人满大街都是,但能构建完整可观测Harness的人,才是Agent时代真正稀缺的工程师。
AgentInsight SDK开源免费(Python/TypeScript),5分钟接入:
- Python SDK:https://github.com/AgentInsight/agentinsight-sdk-python
- TypeScript SDK:https://github.com/AgentInsight/agentinsight-sdk-ts
- 官网:https://agentinsight.goldebridge.com/
848



被折叠的 条评论
为什么被折叠?



