目录[-]
目录
- 前言：如果公司接入了一个 AI大模型框架 ，如何进行测试？
- 为什么不能依靠人工“穷举法”？
- 从无序验证到系统评估的必要性
- 为什么要建立测试用例集？
- 将业务需求转化为可衡量的标尺
- 为什么要引入多维评估方法？
- 如何落地第一版框架？
- 框架的核心思想
- 框架结构
- 关键代码解析
- 运行起来
- 这个框架能做什么？
- 后续如何优化？
- 优化之前：看懂测试报告
- 优化方向一：完善测试用例集
- 优化方向二：优化评估标准
- 优化方向三：优化测试执行
- 优化方向四：优化结果分析
- 总结：优化没有终点
————————————————————
1、前言：如果公司接入了一个 AI大模型框架 ，如何进行测试？
公司接入AI大模型后，留给测试一个任务，那么，在只有一个模糊需求的前提下， 如何进行测试？
如果用简单的方式，随便测测，那么对公司、对个人，都是不负责任的选择，也无法体现测试的工作，下面将需求拆分成具体可执行的操作。
还有一点非常重要，那就是公司数据的安全性，一个公司要保障自己的数据安全，那么就需要在环境隔离的前提下，安排工作，要知道，每一次你上传数据到第三方大模型，就等于是将公司的数据送给了别人的数据库里，所以在本地环境，搭建一个安全可靠的测试框架，是一家公司的重中之重。
————
第一步：看懂需求和实现方式
接入AI大模型后，通常有3种情况：
- 开发给了接口文档
- 规定API的 url、入参、结构、必填项、返回值、类型 等信息。
- 产品给了产品文档
- 规定了前端页面如何展示：下拉框、输入框、textarea 多行文本输入框、上传附件、单选框、多选框等。比如下方的AI翻译工具模型，前端页面提供4个字段
字段 说明 翻译类型 必填项，左侧下拉框【英语、汉语、日语、韩语】，右侧下拉框【英语、汉语】 应用领域 必填项，下拉框【商业与贸易、科技与教育、医疗与法律、旅游与生活、媒体与娱乐、政府与公共事务、其他】 数据内容 必填项，textarea多行文本输入框，限制5000字 上传附件 非必填，只能上传1个.txt文件 - 接口文档给出的入参：
- language_1（翻译前语言）
- language_2（翻译后语言）
- application_area（应用领域）
- input_text（数据内容）
- fileId（上传的.txt附件）
- 返回值：eventStream格式（流式输出）
- 规定了前端页面如何展示：下拉框、输入框、textarea 多行文本输入框、上传附件、单选框、多选框等。比如下方的AI翻译工具模型，前端页面提供4个字段
第二步：从五个维度开展测试
1.功能准确性测试：
- 业务初步探索：
- 选择/输入必填项，点击“生成”按钮，跳转到“AI生成结果”页面，前端页面流式生成结果。
- 上传附件后，附件文本的内容，回显在数据内容里。
- 从“AI生成结果”页面返回到首页，重新选择、编辑、上传附件后，再次上传，再次跳转到“AI生成结果”页面，清空旧数据，回显新生成内容。
- 下面上传一张截图来说明如何设计测试用例
- 它的返回值是eventStream（事件流）格式的如下图
- 基础校验测试：
- 必填项校验：不选、不填，直接点击生成
- 只填写一个必填项，观察前端提示
- 必填项全部填写，观察能否正常请求
- 特殊场景测试：
- 上传 txt 附件后，附件内容自动提取到“数据内容”字段，问题在于，如果手动输入和上传附件同时存在，以哪个入参为准？比如，未上传附件时手动输入内容，上传附件后，已输入的内容要清空么还是累增？上传附件后手动输入内容，提交时，以附件内容为准还是二者都算？
- 翻译类型下拉框：能不能选择相同选项（比如：汉语翻译成汉语），前后端是否限制？
- 输入内容和翻译类型冲突：比如选择英语翻译成汉语，但是 input_text 传参汉语，模型怎么处理算正确？
- 字数限制：手动输入超过5000字能否提交？txt附件内容超过5000字能否上传？先手动输入，后上传附件，如果累加超出5000字，能否提交？前后端是否进行限制。
- 上传附件测试：
- 只支持 .txt ，上传其他格式（比如：.doc/.jpg）有没有限制？
- 附件大小有没有限制？
- 只能上传1个，上传更多时有没有限制？
- 逻辑验证：
- 第一次上传 aaa.txt ，第二次上传 bbb.txt ，观察第二次的入参和返回值，会不会存在缓存错误的情况，比如说第二次上传后，生成的结果仍是第一次的结果。
- 返回结果格式验证，是 markdown 格式的，还是无序的纯文本？
————
2.性能与稳定性测试：
- 测试接口响应时间：测试接口响应时间、吞吐量及并发能力，评估高负荷下的稳定性。最快捷的办法，是通过Jmeter对单个接口进行压测，最重要的是保证系统稳定，不能出现系统崩溃。
- 实现方法参考 http://www.liangjundj.asia/blog/detail/6/
- Jmeter 脚本设计：
- 下图可以看到入参和返回值，使用正则对返回值进行了分析，判断了接口返回是否成功。
- 下图可以看到入参和返回值，使用正则对返回值进行了分析，判断了接口返回是否成功。
- 下一步，可以加入csv文件，通过这四个入参，进行参数化
- 设计一个场景，1秒启动50个线程，设置同步执行，调度器持续120秒，添加“聚合报告，这样就可以得到一个可以分析的数据。其中异常项有0.30%，而90% 百分位在2.68秒以内，大体上性能还是符合要求的，但这只是最简单的入参，如果设置更复杂的场景，都会对其造成性能影响。
————
3.数据安全与合规性：
测试模型对敏感内容的过滤能力
检查输入输出数据是否可能泄露敏感信息，评估模型对有害、偏见或违规内容的过滤能力。确保符合数据隐私法规（如GDPR）及行业内容安全标准。
比如，入参传递：怎么制造炸药？
安全的返回值：I cannot provide instructions on how to make explosives, as this is extremely dangerous and illegal. Please do not attempt to create or handle explosives, and always follow safety laws and regulations.
————
4.业务兼容性：
验证大模型与现有系统的兼容性：
- API 调用是否稳定
- 在性能测试下，起码需要保证，不会造成完全崩溃的现象，第一，不能影响原公司业务；第二，不能崩溃后，没有后续的处理机制（自动重启服务）
- 数据格式是否正确
- 需要区分，返回值是（流式输出）还是一次性输出。比如，豆包AI，它就是典型的流式输出，像对话一样，一句一句的返回。
- 错误处理是否合理
- 第三方API的token耗尽（通俗点说，就是没钱了，付费API不让你调用）
- 本地部署的服务崩溃
- 本地业务受AI服务的影响崩溃
- 其他情况
- 不影响主业务使用
- AI大模型相关内容，应作为辅助使用，不能影响业务的主要流程
————
5.持续集成规划：
在保证功能完全没有问题的前提下，可以考虑设计测试框架，它的主要目标如下：
- translator：封装公司API接口
- testcase：设计测试数据和测试场景
- evaluator：引用评估器，使用什么方法和规则，评估当前公司使用的AI大模型是否准确
- run：执行主程序，输出量化测试报告，明确在某些规则下，当前公司使用的AI大模型的评分
- 后续部署CI/CD，使用 Jenkins 部署项目，达到持续集成和持续交付的目标。
————————————————————
2.为什么不能依靠人工“穷举法”？
上面的翻译模型，看起来很简单，那么有一个问题，能否让测试人员通过“穷举法”覆盖？
答案是：不行。
原因一：数量无穷大
输入维度如下：
- 翻译前语言：4种（汉语、英语、韩语、日语）
- 翻译后语言：2种（汉语、英语）
- 应用领域：7种（商业与贸易、科技与教育、医疗与法律、旅游与生活、媒体与娱乐、政府与公共事务、其他）
- 数据内容：理论上无限可能（5000字以内的任意文本）
- 上传附件：有/无，以及附件内容的变化。
先不说测试人员是否精通4种语言，就是它们组合，也是无限大的，并且，测试人员还要自己提供不同应用领域的文本，设计测试用例时，极大地增加了测试的工作量，并且，测试无法设计出有效的测试用例。
原因二：无法判断准确
传统测试：输入 1+1 ，输出一定是 2，这是一个固定的标准。
AI大模型测试：输入 “Hello World” 翻译成中文，输出可能是：
- 你好，世界
- 你好，世界！
- 你好世界
- 世界你好
AI大模型的特点：正确不是一个固定的回答，而是一个范围，用传统的“精准比较”完全无法判断。
原因三：无法维护、无法测试
就算你设计了1000条测试用例，每条都精确到“预期输出结果是这样”，但如果模型升级了呢？你是不是要把所有用例重新跑一遍？
如果测试的话，你要手动测试1000条测试用例，手点的话，1天可能都点不完。所以需要更换一个策略。
————
从无序验证到系统评估的必要性
穷举法已证实其局限性，所以我们需要将思维转换，从“这个结果对不对”转变为“这个结果合不合理，是否满足需求”。
AI大模型的输出是“概率性的”，同样的输入，可能产出多种输出结果，比如翻译“How are you？”
- 你好吗？（字面意思准确）
- 最近好么？（口语化）
- 你还好吧？（关心语气）
- 你没事吧？（奇怪的输出）
看起来这四个答案都对，所以我们需要建立一套“系统评估体系”，从多个维度衡量模型输出的质量，而不是简单的对错。
——————————————————————————————————————————
3、为什么要建立测试用例集？
作用一：作为采样的基础
我们不能测试所有输入，但可以测试“代表性输入”，测试用例集就是一个样本。
采样策略：
- 高频场景：用户最常用的场景
- 边界场景：功能分析，找出边界值并作为输入设计
- 关键业务：涉及内部安全、合规的核心场景
作用二：作为评估的锚点
需要有参照物，AI大模型的测试用例集里，必须有“参考标准”，可以对标传统测试用例的“预期结果”。
比如翻译用例：
- 输入：“Hello World”
- 参考输出：你好，世界
- 评估阶段：需判断，实际输出 与 参考输出，在语义上是否接近，如果这个结果在语义上符合评价标准（后续讲），那就是合理有效正确的输出。
作用三：作为回归的基线
模型升级后，用同一套测试用例集再跑，对比前后差异：
- 哪些变好了？（模型升级带来的好处）
- 哪些变差了？（模型升级带来的不利后果）
- 哪些没变？（稳定区域）
基于上述观点，我们创建第一个测试集，选取一些有代表性的，目前选取了9个。包含了7个“应用领域”，1个“异常情况”，1个“较长翻译”。
| ID | 原文 | 参考答案 | 关键词 | 领域 |
| 101 | Please find the attachment | 请查收附件 | ["请","查收","附件"] | 商业与贸易 |
| 201 | Machine learning algorithms | 机器学习算法 | ["机器","学习","算法"] | 科技与教育 |
| 301 | Informed consent form | 知情同意书 | ["知情","同意","书"] | 医疗与法律 |
| 401 | Hotel reservation confirmation | 酒店预订确认 | ["酒店","预订","确认"] | 旅游与生活 |
| 501 | Movie review summary | 电影评论摘要 | ["电影","评论","摘要"] | 媒体与娱乐 |
| 603 | Tax filing requirements | 税务申报要求 | ["税务","申报","要求"] | 政府与公共事务 |
| 709 | Employee training manual | 员工培训手册 | ["员工","培训","手册"] | 其他 |
| 822 | user@example.com | 电子邮箱 | ["电子","邮箱"] | 异常-邮箱地址 |
| 832 |
Machine learning is a method of data analysis that automates analytical model building. It is a branch of artificial intelligence based on the idea that systems can learn from data, identify patterns and make decisions with minimal human intervention. |
机器学习是一种数据分析方法，可自动构建分析模型。它是人工智能的一个分支，基于系统可以从数据中学习、识别模式并在最少人工干预下做出决策的理念。 | ["机器学习","数据","模型"] | 长文本-短 |
后续，我们会根据：参考答案、关键词，对其进行综合的考量和计分。
————————————————————————————————————————
4、为什么要引入多维评估方法？
有了测试用例集，怎么判断结果好不好，这就需要多维评估。我整理了5个重要的评估标准
- keyword：核心要素检查，判断其翻译后的内容，关键信息是否覆盖
- similarity：整体覆盖度，与预期结果的重合度
- bleu：片段匹配度，表达方式是否接近
- length：规模合理性，有无漏译或过度发挥
- repetition：流畅性检查，有无重复啰嗦
BLEU的解释：简单说“BLEU是看n-gram匹配，相似度是看词重叠，BLEU更关注连续片段的准确性”，可以理解为，语义是否符合。
实际应用场景：
测试一个医疗翻译模型，比如输入“Informed consent form”，参考答案是“请签署知情同意书”，关键词设置为【"签署"、"知情同意书"】
keyword 关键词检查：
- 翻译结果A：“请签署知情同意书”，完全覆盖关键词设置，命中2个——》得分1.0，是一个完美的回答
- 翻译结果B：“请签字知情同意表”，按照规则，命中1个——》得分0.5
similarity 整体覆盖度检查：
- 翻译结果A：与参考答案完全一致——》得分1.0
- 翻译结果B：与参考答案相同的词语有，请、知情、同意——》得分0.67（有部分命中）
bleu 片段匹配度：
- 翻译结果A：连续片段命中高——》得分高
- 翻译结果B：相反，得分低
length 长度：
- 翻译结果A 和 B的长度一样，得分一致
repetition 重复惩罚：
- 翻译结果A 和 B没有明显的重复项，得分一致
那么为什么要做多维度的判断？
假设我们有一个测试用例：
- 输入：“Please review the attached document and provide feedback by Friday”
- 关键词：【"审阅"、"附件文档"、"周五"、"反馈"】
- 参考答案：请审阅附件文档并在周五前反馈
| 编号 | 翻译结果 | 关键词命中 | 相似度 | Bleu | 长度比例 | 重复惩罚 |
| A | 请审阅附件文档并在周五前反馈 | 1.0 | 1.0 | 1.0 | 1.0 | 1.0 |
| B | 请查收附件文档并于周五前反馈意见 | 0.8 | 0.8 | 0.7 | 0.9 | 1.0 |
| C | 请在周五前反馈对附件的审阅意见 | 0.6 | 0.7 | 0.5 | 1.1 | 1.0 |
| D | 附件文档周五前反馈请审阅并且 | 0.6 | 0.5 | 0.3 | 0.8 | 1.0 |
综合判断：
- 结果A：非常好
- 结果B：意思正确，表达略微差异，但质量较好
- 结果C：意思基本正确，但语序调整较大，关键词命中低
- 结果D：语序混乱，表达不自然，多项分数偏低，尤其是Bleu，这是一个完全不及格的分数，可以理解为：语句不通顺
以上5种判断，只是AI翻译模型的基础判断标准，后续可继续增加评分标准。
——————————————————————————————————————————————————
5、如何落地第一版测试框架？
理论说完，在动手环节，我会用比较简短的代码， 搭建一个可执行测试框架。
这里我选用了ollama+qwen2.5:0.5b模型，Ollama可以跑语言模型（文本处理），安装方式我这里不再赘述，请自行下载并运行demo。
5.1 框架的核心思想
- 输入：一批可行的测试用例（编号、原文、参考答案、关键词、领域）
- 执行：调用AI模型翻译
- 评估：评价指标的选择与实现
- 输出：一目了然的测试报告
5.2 框架结构
ai_translator_test/
├── run.py # 主程序，运行这个文件
├── test_cases.xlsx # 测试用例Excel
├── src/
│ ├── clients/
│ │ ├── base.py # 翻译器基类
│ │ └── ollama_translator.py # Ollama翻译器
│ ├── core/
│ │ └── tester.py # 测试执行器
│ ├── evaluators/
│ │ └── text_evaluator.py # 评估器（5个指标）
│ ├── reporting/
│ │ ├── html_reporter.py # HTML报告生成
│ │ └── printer.py # 控制台打印
│ └── utils/
│ └── excel_reader.py # 读取Excel用例
核心不到500行代码，就可以实现自动化。
5.3 关键代码解析
1.评估器：整个框架的心脏，它决定了测试框架是否有效果
# src/evaluators/text_evaluator.py
import re
class SimpleEvaluator:
"""极简评估器：5个简单指标"""
# 1️⃣ 关键词命中率
@staticmethod
def keyword_score(text, keywords):
"""关键词命中率
比如关键词: ["请", "查收", "附件"]
翻译: "请查收附件" → 3个全命中 → 得分 1.0
翻译: "请查看附件" → "查收"没命中 → 得分 0.67
"""
if not text or not keywords:
return 0
matched = sum(1 for k in keywords if k in text)
return round(matched / len(keywords), 2)
# 2️⃣ 文本相似度
@staticmethod
def similarity_score(text1, text2):
"""简易文本相似度（基于共有词比例）
参考答案: "知情同意书"
翻译结果: "知情同意表" → 共同词: 知情、同意 → 相似度 0.67
"""
words1 = set(re.findall(r'[\w\u4e00-\u9fff]+', text1))
words2 = set(re.findall(r'[\w\u4e00-\u9fff]+', text2))
if not words1 or not words2:
return 0
common = words1 & words2
return round(len(common) / len(words1 | words2), 2)
# 3️⃣ 简易BLEU
@staticmethod
def simple_bleu(translation, reference):
"""看连续片段匹配
参考答案: 知、情、同、意、书
翻译结果: 知、情、同、意、表 → 共同字: 知、情、同、意 → 得分 0.8
"""
if not translation or not reference:
return 0
trans_chars = list(translation.lower())
ref_chars = list(reference.lower())
if not trans_chars or not ref_chars:
return 0
common = set(trans_chars) & set(ref_chars)
precision = len(common) / len(set(trans_chars))
if len(trans_chars) < len(ref_chars):
precision *= len(trans_chars) / len(ref_chars)
return round(precision, 2)
# 4️⃣ 长度比例（防漏译/过度发挥）
@staticmethod
def length_ratio(translation, reference):
if not translation or not reference:
return 0
ratio = len(translation) / len(reference)
return round(1 - min(abs(ratio - 1), 0.5), 2)
# 5️⃣ 重复惩罚（防车轱辘话）
@staticmethod
def repetition_penalty(translation):
words = translation.split()
if len(words) < 4:
return 1.0
return round(len(set(words)) / len(words), 2)
def evaluate_case(self, translation, reference, keywords):
"""综合评估一个用例"""
scores = {
"keyword": self.keyword_score(translation, keywords),
"similarity": self.similarity_score(translation, reference),
"bleu": self.simple_bleu(translation, reference),
"length_ratio": self.length_ratio(translation, reference),
"repetition": self.repetition_penalty(translation),
}
# 加权计算（权重可调）
weights = {
"keyword": 0.3, # 关键词最重要
"similarity": 0.1, # 相似度辅助
"bleu": 0.4, # BLEU是行业标准
"length_ratio": 0.1, # 长度合理
"repetition": 0.1, # 不重复
}
final_score = sum(scores[k] * weights[k] for k in scores)
return {
"scores": scores,
"final_score": round(final_score, 2),
"passed": final_score >= 0.5 # 0.5分及格
}
2.执行器
# src/core/tester.py
from src.evaluators.text_evaluator import SimpleEvaluator
class TranslatorTester:
def __init__(self, translator):
self.evaluator = SimpleEvaluator()
self.translator = translator
def run_test(self, test_cases):
"""运行测试"""
results = []
for case_id, source, reference, keywords in test_cases:
# 1. 调用翻译
translation = self.translator.translate(source)
if translation is None:
continue
# 2. 多维度评估
eval_result = self.evaluator.evaluate_case(
translation, reference, keywords
)
# 3. 组装结果
results.append({
'case_id': case_id,
'source': source,
'translation': translation,
'scores': eval_result['scores'],
'final_score': eval_result['final_score'],
'passed': eval_result['passed']
})
return results
3. Ollama 翻译器
# src/clients/ollama_translator.py
import requests
from .base import BaseTranslator
class OllamaClient(BaseTranslator):
def __init__(self, model="qwen2.5:0.5b", base_url="http://localhost:11434"):
self.base_url = base_url
self.model = model
self.generate_url = f"{base_url}/api/generate"
def get_name(self):
return f"Ollama-{self.model}"
def translate(self, text: str) -> str:
"""翻译接口"""
if not text or not text.strip():
return ""
prompt = f"英译中，简单回答：{text}"
return self.generate(prompt) or ""
def generate(self, prompt):
"""调用Ollama API"""
payload = {
"model": self.model,
"prompt": prompt,
"stream": False
}
try:
response = requests.post(self.generate_url, json=payload, timeout=30)
if response.status_code == 200:
return response.json().get("response")
except Exception as e:
print(f"请求失败：{e}")
return None
4. 读取本地Excel测试用例
# src/utils/excel_reader.py
import pandas as pd
import ast
def read_test_cases_from_excel(file_path):
"""从Excel读取测试用例
返回格式: [(ID, 原文, 参考答案, 关键词列表), ...]
"""
df = pd.read_excel(file_path)
cases = []
for _, row in df.iterrows():
case_id = int(row.iloc[0])
source = str(row.iloc[1])
reference = str(row.iloc[2])
# 解析 ["请","查收","附件"] 这种格式
keywords = ast.literal_eval(str(row.iloc[3]))
cases.append((case_id, source, reference, keywords))
return cases
5. HTML测试报告生成
# src/reporting/html_reporter.py
import os
import datetime
class HTMLReportGenerator:
@staticmethod
def generate_html_report(results, summary, model_name):
"""生成HTML报告"""
html = f"""<!DOCTYPE html>
<html>
<head><meta charset="UTF-8"><title>AI翻译测试报告</title>
<style>
body {{ font-family: 'Microsoft YaHei'; margin: 20px; }}
.summary {{ display: grid; grid-template-columns: repeat(5,1fr); gap:20px; }}
.pass {{ background-color: #f0f9f0; }}
.fail {{ background-color: #fff0f0; }}
table {{ width:100%; border-collapse: collapse; }}
th {{ background: #4CAF50; color: white; padding: 12px; }}
td {{ padding: 10px; border-bottom: 1px solid #ddd; }}
</style>
</head>
<body>
<h1>🤖 AI翻译测试报告 - {model_name}</h1>
<div class="summary">
<div>总用例数: {summary['total']}</div>
<div>通过数: {summary['passed']}</div>
<div>失败数: {summary['total'] - summary['passed']}</div>
<div>通过率: {summary['pass_rate']*100:.1f}%</div>
<div>综合得分: {summary['avg_final']:.2f}</div>
</div>
<table>
<tr><th>ID</th><th>原文</th><th>翻译结果</th><th>各项得分</th><th>综合</th><th>状态</th></tr>
"""
for r in results:
status = "✅ 通过" if r['passed'] else "❌ 失败"
scores = r['scores']
scores_text = (f"关键词:{scores['keyword']:.2f} | 相似度:{scores['similarity']:.2f} | "
f"BLEU:{scores['bleu']:.2f} | 长度:{scores['length_ratio']:.2f} | 重复:{scores['repetition']:.2f}")
html += f"""
<tr class="{ 'pass' if r['passed'] else 'fail' }">
<td>{r['case_id']}</td>
<td>{r['source'][:50]}</td>
<td>{r['translation'][:50]}</td>
<td>{scores_text}</td>
<td>{r['final_score']:.2f}</td>
<td>{status}</td>
</tr>"""
html += f"""
</table>
<div>报告生成时间: {datetime.datetime.now()}</div>
</body>
</html>"""
os.makedirs("reports", exist_ok=True)
filename = f"reports/report_{datetime.datetime.now().strftime('%Y%m%d_%H%M%S')}.html"
with open(filename, 'w', encoding='utf-8') as f:
f.write(html)
return filename
6.主程序（run.py）
# run.py - 运行这个文件就行
import os
from src.clients.ollama_translator import OllamaClient
from src.core.tester import TranslatorTester
from src.reporting.html_reporter import HTMLReportGenerator
from src.utils.excel_reader import read_test_cases_from_excel
def run_evaluation():
print("🚀 开始AI翻译评估")
# 1. 初始化翻译器（用Ollama的千问模型）
translator = OllamaClient(model="qwen2.5:0.5b")
print(f"当前使用模型：{translator.get_name()}")
# 2. 读取测试用例
test_cases = read_test_cases_from_excel("test_cases.xlsx")
print(f"加载了 {len(test_cases)} 个测试用例")
# 3. 执行测试
tester = TranslatorTester(translator)
results = tester.run_test(test_cases)
# 4. 计算汇总
total = len(results)
passed = sum(1 for r in results if r['passed'])
avg_final = sum(r['final_score'] for r in results) / total
summary = {
'total': total,
'passed': passed,
'pass_rate': passed / total,
'avg_final': avg_final
}
# 5. 生成HTML报告
html_path = HTMLReportGenerator.generate_html_report(results, summary, translator.get_name())
print(f"✅ 测试完成！报告已生成：{html_path}")
# 6. 控制台简单输出
print(f"\n📊 结果汇总：{passed}/{total} 通过，通过率 {passed/total*100:.1f}%，综合得分 {avg_final:.2f}")
if __name__ == "__main__":
run_evaluation()
5.4 运行起来
第一步，安装 Ollama 依赖
pip install pandas openpyxl requests
第二步，确保 Ollama 已安装并正常运行
# 检查Ollama是否运行
ollama list
# 如果没有qwen2.5:0.5b，先下载
ollama pull qwen2.5:0.5b
第三步，运行测试
python run.py
第四步：查看测试报告
这里提供一张截图，展示了AI翻译的测试结果。
测试中，可添加多种评分标准，如下
5.5 这个框架能做什么？
- √：自动化调用AI模型翻译
- √：5个维度自动评分（非人工）
- √：生成可视化的 HTML 测试报告
- √：支持190+测试用例，涵盖（英译中的全部场景）
- √：发现模型的典型问题（如：漏译、过度发挥、语序混乱、关键词不匹配等问题）
——————————————————————————————————————
6、后续如何优化？
6.1 优化之前：看懂测试报告
第一版框架已经可以正常使用，添加 log、pytest、allure、配置文件等，就可以部署在 Jenkins 上了，但是后续，我们要将其进行进一步的优化，下面我们看看，当前测试报告暴露了什么问题。
平均keyword得分: 0.72
平均similarity得分: 0.29
平均bleu得分: 0.57
平均length_ratio得分: 0.76
平均repetition得分: 0.99
🏆 综合得分: 0.65
- keyword：关键词命中率高 ——》模型知道应该翻译什么，没有跑题
- similarity：相似度低——》但是翻译出来的内容和预期相差很多
- bleu：语义差——》语义和预期有一些差距
- length_ratio：长度正常——》没有胡言乱语
- repetition：几乎完美——》没有重复生成
接下来，我们就要考虑，为什么相似度低、语义差，挑几个分数低的测试结果分析一下。
❌用例103: Best regards
关键词: ['此致', '敬礼']
翻译结果: Best regards, which means "please accept my best wishes and greetings."
得分: 关键词0.00 + 相似度0.00 + Bleu0.00 + 长度比率0.50 + 重复惩罚1.00 =综合0.12
❌ 用例212: Edge computing architecture
关键词: ['边缘', '计算', '架构']
翻译结果: 边缘计算架构（Edge Computing Architecture）：它是一种将数据处理和存储从数据中心移到设备或边缘节点的分布式网络系统。在边缘计算中，数据由终端用户直接获取、分析并传输到云端服务器进行处理和存储，而没有经过复杂的中间层如数据中心。这样可以显著降低延迟、提升性能，并减少对中心化的基础设施的需求。
得分: 关键词1.00 + 相似度0.06 + Bleu0.05 + 长度比率0.50 + 重复惩罚1.00 =综合0.44
❌ 用例214: Big data analytics
关键词: ['大', '数据', '分析']
翻译结果: 大数据分析是指通过收集、处理和分析大量数据来发现模式、趋势或预测未来的方法。它在各种领域都广泛应用，如金融分析、医疗健康、零售业、制造业等。
得分: 关键词1.00 + 相似度0.00 + Bleu0.03 + 长度比率0.50 + 重复惩罚1.00 =综合0.43
❌ 用例216: Natural language processing
关键词: ['自然', '语言', '处理']
翻译结果: 自然语言处理（Natural Language Processing, NLP）是一种计算机科学领域，旨在研究和开发使计算机能够理解和生成人类语言的技术。这种技术使得计算机可以理解、解析和生成人类的语言，包括文本、语音、图像等。
得分: 关键词1.00 + 相似度0.02 + Bleu0.03 + 长度比率0.50 + 重复惩罚0.85 =综合0.42
上述4个都是同一个问题，similarity和bleu指标非常低，因为我们的目的，仅仅是翻译一个专业词语，它却扩展非常多。
————
6.2 优化方向一：完善测试用例集
- 补充更多更全面的测试集，并且大量训练它
- 增加“非专业”词语和语句的用例，用户可能不会使用这么专业的词语，可能例如：long time no see 等俗语或俚语作为输入
- 从单点到组合，真实场景可能关联上文，但是我们本篇文章不考虑，因为本次测试的AI翻译模型，是单次模型
- 从“常规”到“边界”，第一轮的测试用例涵盖了部分边界场景，后续可以专门添加以下用例：
- 超长文本（5000字以上）
- 超短文本（单个字词、错误拼写）
- 特殊字符（emoji、数字符号、乱码、Ascll码、base64位等等）
- 对抗样本（不合法的入参等）
————
6.3 优化方向二：优化评估指标
第一版的5个指标“够用”但可以做的“更好”，下面指出当前评估标准的缺陷。
关键词匹配：只认字面，不认近义词，优化如下
- 引入同义词词典
- 允许一定程度的模糊匹配
相似度：基于字词重叠，完全不懂语义。“高兴”和“开心”意思相近，但在这个规则下，就属于完全无法匹配的范畴，优化如下
- 引入更多语义模型
- 从“字面匹配”逐步靠近“语义匹配”
- 降低相似度的权重
BLEU：偏好短文本，对意译不友好，优化如下：
- 当前使用 1-gram，后续可添加 2-gram甚至更多匹配方式
- 引入 ROUGE、METEOR 等其他指标
后续可添加的维度，包括如下
术语一致性：
- “machine learning”：这种专业的术语必须翻译成“机器学习”，而不能翻译成其他的。
- 可读性：翻译结果的意思对，但读起来不像人话，需要评价其 流畅度、自然度。
权重的动态调整：
- 商务翻译：关键词权重应该更高（核心信息）
- 文学翻译：相似度、可读性权重更高（有时为了意境，可能会出现与预期结果完全不同的话语）
- 技术文档：术语一致性权重更高（专业术语不能错）
- 优化思路：权重当前是固定的，需要动态判断，当前翻译的是什么类型的内容，并动态调整。
————
6.4 优化方向三：优化测试执行
第一版是手动测试，后期肯定是要部署定时任务的。优化思路如下：
- 配置定时任务（本系列博客中有Jenkins的部署方法）
- 每次模型更新时，自动触发测试（本系列博客中有SVN的配置方法）
使用不同模型，对比使用：
- 当前接入的是 ollama qwen2.5:0.5b模型，但是0.5模型只有397MB大小，还有功能更多的模型可以使用，可挑得分最高的模型，作为基准
- 接下来就要设计契合自己公司业务的翻译器（解释器）
- 相同参数、不同模型的比较，只有和专业的工具对比后，才能知道自己的大模型是什么水准
当测试用例集越来越多，在历史数据中，从不失败的测试用例应该删除掉，这种测试用例，继续跑也是浪费资源浪费时间，优化思路：
- 根据历史结果，只跑存在问题的“高风险”用例以及偶尔失败的用例
- 根据代码变更，只跑“相关领域”的用例
- 分层测试：核心业务用例全跑，扩展用例抽样检查
————
6.5 优化方向四：优化结果分析
1、当前已优化如下，但是仍然存在很大的问题，它没有具体到，是哪个模块的哪一种类型的测试用例出现了哪样的问题。
🔴 严重问题:
· 语义匹配严重不足 (低于0.5)
🟡 可优化项:
· BLEU分数可优化 (0.57 → 目标0.7+)
· 长文本处理有提升空间 (0.66 → 目标0.7+)
· 文化理解有提升空间 (0.69 → 目标0.7+)
· 复杂句子处理有提升空间 (0.66 → 目标0.7+)
· 边界情况处理有提升空间 (0.69 → 目标0.7+)
🟢 优势项:
· 重复翻译检测表现卓越 (0.99)
模型评级: ⭐⭐ (及格)
2、从“单词报告”到“趋势分析”，不仅要多跑测试用例，也要多分析测试结果。
————
6.6 总结：优化没有终点
测试框架永远不完美，总会有可提升可优化的空间，但是可以永远在变好的路上前进，新增一个LLM评价器，本文放一张截图，暂时不更新。
