Python模型对比离线实战：固定输入、哈希核验与人工检查表-优快云博客

输入哈希能发现已记录字段漂移，但不能证明两个模型实际运行环境完全一致。本文提供可复制的 Python 示例。

快速回答：怎样公平比较两个模型？

先固定同一批合成输入、提示词和明确记录的参数，再对每条输出按事先写好的规则核查，并保留失败和未知。本文只提供本地演示：输入哈希用于检测指定字段是否变化，简单关键词检查仅检查字面出现，既不证明事实正确，也不能证明模型质量、价格或速度。

比较对象与边界

业务比较至少区分可控输入、厂商接口支持范围、模型版本、系统上下文、采样与截断设置，以及不能统一时如何标注。不同接口的参数语义不一定相同；不能宣称哈希相等就消除了全部差异。本例使用人工构造的 A、B 两段文字，不调用模型、不读取用户数据、不测试网络、计费或真实延迟。

演示任务是检查虚构通知中是否出现时间、地点和“待确认”。A 包含三个字面片段，B 缺少“待确认”；这是人为构造的检查样例，不是真实模型输出或排行榜。Python 3.11 标准库即可运行，无需密钥或安装 SDK。

完整离线代码

将下面内容保存为 compare_fixture.py，执行 python compare_fixture.py：

"""Synthetic local comparison; no network, model, latency or billing measurement."""
import hashlib
import json
import unittest

def input_digest(record):
    """Identify the exact specified prompt and settings, not semantic equality."""
    payload = json.dumps(record, ensure_ascii=False, sort_keys=True,
                         separators=(',', ':'), allow_nan=False)
    return hashlib.sha256(payload.encode('utf-8')).hexdigest()

def check(response):
    """A tiny task-specific checklist; not a factuality or safety evaluator."""
    if not isinstance(response, str):
        raise TypeError('response must be text')
    return {'contains_time': '周六9点' in response,
            'contains_place': '活动室' in response,
            'marks_unknown': '待确认' in response}

def compare(reference, records):
    expected = input_digest(reference)
    output = []
    for record in records:
        if input_digest(record['input']) != expected:
            raise ValueError('inputs differ: ' + record['id'])
        output.append({'id': record['id'], 'checks': check(record['response'])})
    return output

class ComparisonTests(unittest.TestCase):
    def setUp(self):
        self.task = {'prompt': '整理虚构通知', 'max_output': 200}

    def test_same_input_and_three_checks(self):
        rows = [{'id': 'A', 'input': self.task, 'response': '周六9点 活动室 待确认'},
                {'id': 'B', 'input': dict(self.task), 'response': '周六9点 活动室'}]
        results = compare(self.task, rows)
        self.assertTrue(all(results[0]['checks'].values()))
        self.assertFalse(results[1]['checks']['marks_unknown'])

    def test_drift_rejected(self):
        with self.assertRaisesRegex(ValueError, 'inputs differ'):
            compare(self.task, [{'id': 'B', 'input': {'prompt': '不同'}, 'response': ''}])

    def test_order_independent_dict(self):
        self.assertEqual(input_digest({'b': 2, 'a': 1}), input_digest({'a': 1, 'b': 2}))

    def test_invalid_response_and_nan(self):
        with self.assertRaises(TypeError): check(None)
        with self.assertRaises(ValueError): input_digest({'x': float('nan')})

if __name__ == '__main__':
    unittest.main(verbosity=2)

本次本地运行结果：四个 unittest 方法通过（Ran 4 tests、OK）。第一项覆盖两条人工结果，第二项验证输入不同会拒绝比较，第三项验证字典键顺序不会改变规范化结果，第四项检查非法响应和非有限浮点数。测试只覆盖这几个具体情形，不证明生产安全。

实施时怎样避免误判

建立人工审核的题集、预期与验收标准；去除私密内容并记录授权和版本。这里的合成样本不能代表用户整体需求。
给相同任务记录各工具实际收到的输入、参数和失败情况。本文只把字典中记录的字段纳入哈希，未记录的隐藏提示、模型版本或远端默认值无法检出；不同语言实现的序列化不一定字节一致。
字面检查只适合确定性格式或固定片段：待确认 即使出现也可能出现在错误语境；同义表达可能被误判为缺失。事实、完整性、风险与语义质量应通过人工及适合任务的独立方法复核。
记录失败和不可用情况，不只报告最好的一次。要比较费用、时延或质量，需要有权限、预算和独立采样设计；本文没有测量任何一项。