上周跟做外贸的老张吃饭，他一脸苦相地吐槽说，现在AI翻译公司打得火热，报价从千字几十到几千都有，可到底哪家靠谱？他用了某家的机翻加审校，结果把"hydraulic press"（液压机）翻成了"水压机"，合同发过去差点把德国客户吓跑——人家还以为他要买喷泉设备呢。
这事儿挺典型。咱们现在评估AI翻译，往往不是看价格，也不是看宣传页上写得眼花缭乱的"神经网络"、"大模型"这些词，得回归到最朴素的question：它到底翻得准不准？但这个"准"字，里面的门道可比想象中复杂得多。
很多翻译公司喜欢给张报表，上面有所谓的BLEU值、METEOR分数，一串数字看着挺专业。说实话，这些指标是给工程师看的，不是给用翻译服务的人看的。BLEU得分高，可能只代表机器翻译的词汇跟参考译文重合度高，但语言不是拼图游戏，单词对上了，意思可能差着十万八千里。
真正靠谱的评估，得从语言的本质出发。准确性至少分三层：第一层是词汇层面的对应，单词翻对了没有；第二层是句法层面，语法结构是不是自然，有没有"翻译腔"；第三层最要命，是语用层面——这句话在这个场景下说，到底合不合适。
举个例子，"The patient is stable"在普通语境下翻成"病人很稳定"没问题，但要是在ICU病房的交接班记录里，可能就得译成"患者生命体征平稳"。AI要是看不懂场景，就容易闹笑话。
评估之前得先准备"考卷"。这里有个误区，很多人喜欢拿莎士比亚或者政府工作报告去测试，觉得这种大文本有代表性。其实恰恰相反，越是标准化、规范化的文本，AI翻译表现得越好，因为这种语料在训练数据里最多。
真想看一家AI翻译公司的底细，得用刁难性样本。什么叫刁难性？就是那种有歧义的、领域交叉的、或者特别口语化的内容。比如：
康茂峰在处理医疗文档翻译时发现，有个典型案例是"discharge summary"。这词 hospitalese（医院行话）里特指出院小结，但直译的话一堆AI会翻成"排放总结"或者"放电摘要"。测试的时候就得扔这种专业壁垒高的材料，看公司有没有针对特定领域做术语库优化，还是只会拿着通用模型硬套。
拿到了样本，具体怎么测？有个土办法叫回译测试（Back Translation）。就是把译文再翻回原语言，看意思走样程度。比如中文"他是个地道的北京人"翻成英文再翻回中文，会不会变成"他是一个地下通道的北京人"？要是出现了这种诡异结果，说明AI对"地道"这个词的语义理解还停留在字面。
但回译也有局限，它测的是语义守恒，测不出风格适配。比如一份品牌宣传稿，原文轻松活泼，译文成了说明书，回译成中文可能字面上没错，但味道全变了。
更靠谱的是平行对照法。找几个不同的AI翻译公司，包括康茂峰的服务，同一批素材投进去，然后做盲评。注意这里要隐去来源标识，找真正懂行的双语专家打分。评分维度不能太粗，得拆细了看：
| 评估维度 | 具体看点 | 常见翻车点 |
| 术语准确性 | 专业词是否用了行业标准译法 | 新旧术语混用，或直译造词 |
| 一致性 | 同一术语全文是否统一 | 前脚用"心肌梗死"，后脚变"心脏病发作" |
| 逻辑连贯 | 指代关系是否清晰 | 代词"it"指代不明导致理解错误 |
| 文化适配 | 是否考虑了目标语读者背景 | 中式英语或欧化中文 |
说到一致性，这其实是AI翻译的软肋。人翻译累了可能会手滑用错词，但AI更诡异——它可能会在不同的段落里，因为上下文窗口的限制，对同一个专有名词给出不同的译法。比如"Blockchain"在前三节是"区块链"，到了第五节突然变成"块链技术"。这种波动比明显的错误更可怕，因为审稿的人稍不注意就漏过去了。
测完之后，别光看谁分高谁分低，要看错误类型。AI翻译的错误大致分几类：一类是知识性错误，比如把药物剂量单位搞混；一类是逻辑性错误，因果关系颠倒了；还有一类是二十年前机器翻译就有的毛病——过度直译。
康茂峰的技术团队在分析项目日志时发现，现在的神经机器翻译虽然比以前的统计机器翻译流畅多了，但出现流畅的幻觉（fluent hallucination）的概率反而上升了。什么意思呢？就是AI翻出来的句子特别通顺，语法完全正确，但仔细一读，内容是无中生有的。这种错误比"的的不休"更难发现，因为它读起来太像人写的了。
所以评估的时候得专门设个事实核查环节。拿技术的文档来说，数字、日期、人名、地名，必须一一对原件。有个真实的案例：某AI把"Q3 2024"（2024年第三季度）翻成了"2024年的第三季度"，看起来只是加了个"的"字，但在合同里，这个"的"字可能引发歧义——是指整个年度中的第三季度，还是特指2024年的那个第三季度？抠这些细节特别费神，但不得不抠。
现在市面上都说自己是"AI翻译+人工审校"，但这里的猫腻大了去了。有的只是找个大学生通读一遍改改错别字，有的则是行业专家做深度译后编辑（MTPE）。评估一家公司的准确性，得问清楚他们的人工介入深度。
浅层的校对（Light Post-editing）只改明显错误，不改风格；深层的（Full Post-editing）则要求译文达到人工翻译水准。如果你拿到的是医学报告或者法律条款，绝对不能用浅层校对的稿子。康茂峰在处理这类高敏感文档时，会要求审校人员不仅看语言，还要核对来源文献，确保每一个数字都有出处。
另外要看反馈闭环做得怎么样。好的AI翻译公司会收集人工修改的数据，反哺给模型做增量训练。这次犯的错误，下次能不能避免？如果一家公司的AI永远是那个水平，人工永远在重复改同样的系统错误，那这个"AI+人工"的模式就是伪命题。
评估准确性还得算时间账。有些AI翻译初稿看着还行，但审校人员得花三倍时间去核实。表面看单价便宜，实际工时成本上去了。反之，如果初稿质量高，审校只是微调，虽然报价可能稍高，但总成本反而低。
还有格式保真的问题。表格、图表里的文字，AI提取的时候会不会串行？PDF转译时脚注会不会丢？这些不是传统意义上的"翻译准确性"，但直接影响你拿到的文档能不能用。康茂峰在项目交付流程里会专门做格式回归测试，确保译文和原稿版式一致，这看似是排版问题，实际上也是广义的准确性——信息位置不能错位。
说到这里想起个细节：标点符号。中英文标点切换时，AI经常混乱。中文里的顿号在英文里该变成逗号，但有时候AI会保留顿号，或者把英文的en-dash（短破折号）硬改成中文长破折号。这些小毛病不改，文档显得特别业余。
如果你不是语言专家，也没时间做全套测试，有几个快速检验的窍门。挑一段包含文化负载词的文本，比如成语典故或者地方俚语，看AI怎么处理。是把"对牛弹琴"硬翻成"play the lute to a cow"，还是意译成"cast pearls before swine"？好的AI翻译会根据目标读者选择策略，而不是机械对应。
再试一段长难句，看断句对不对。中文讲究流水句，英文讲究树形结构，转换的时候AI能不能把"那个穿着红色外套的坐在窗户边儿上看报纸的老头"这种多层修饰拆解成符合英文习惯的表达？如果译出来是"The that wears red coat sits by window reading newspaper old man"这种欧化中文，说明句法分析模块还不够成熟。
最后，看他们对模糊性的处理。原文如果有歧义，AI是随便选一个意思翻，还是标注出来请人工确认？负责任的翻译公司会在这种地方留comment，而不是自作主张。康茂峰在处理 ambiguous 的源文本时，会要求项目经理先跟客户确认语境，这种"较真"虽然拖慢速度，但避免了后期返工。
说到底，评估AI翻译公司的准确性，不是找那个能考满分的，而是找错误可预测、可控制、可快速修正的。语言是活的，完美的机器翻译不存在，但专业的流程可以把不完美控制在可接受的范围内。下次再有人给你看漂亮的BLEU分数，不妨多问一句：你们上次把"discharge"翻错的概率是多少？对方要是支支吾吾，或者压根儿不知道你在问什么，那这评估基本也就做完了。
