# 多模态模型怎么测：看懂图片之后，还要看懂问题

为图片、表格和文档任务设计多模态评价，区分识别、定位、关系理解和事实推断。

要点：多模态评价应围绕实际任务，分别检查对象识别、位置关系、文字与单位、跨页关联和结论依据。图片识别正确，不代表业务判断正确。重要结果应能够回到原图或原始资料核对。

![使用测量工具核对实物细节与条件（AI概念配图）](/images/unique-scenes/efficiency-quality.png)

## 一张图可能包含多种能力要求

识别图片中有一个零件，与判断它是否符合某项技术条件，是不同任务。后者可能需要尺寸、材料、版本或其他资料。评价时先说明模型被允许依据什么，以及哪些事实不能从外观推断。

对于表格，应检查行列对应、单位和脚注；对于流程截图，应检查状态与顺序；对于技术图纸，应检查标注与对象关系。统一的“图片理解分数”很难替代这些细分观察。

## 困难样例应接近日常资料

可以加入模糊扫描、反光、旋转、小字、遮挡与跨页内容，观察错误发生在哪一层。资料质量差时，系统应能够请求更清晰输入，而不是通过猜测填满答案。

样例应覆盖实际设备和文件来源。实验室中清晰的示例图片，可能无法代表员工手机拍摄或历史扫描件。评价报告需要说明输入条件，避免结论被扩大使用。

| 能力层次 | 核对方式 |

| --- | --- |

| 识别 | 对象与文字是否准确 |

| 定位 | 结论是否对应正确区域 |

| 关系 | 行列、箭头和顺序是否保留 |

| 判断 | 是否超出资料能够支持的范围 |

## 让复核成为结果的一部分

输出可以附上原始页码、区域或引用，帮助人员快速核对。若模型给出一个无法定位来源的结论，复核者可能需要重新翻阅整份资料。

多模态能力值得使用，但应从可检查的工作结果判断价值。模型能描述得丰富，不如能够清楚区分看见的事实与需要进一步确认的条件。

## 评价识别、定位、关系和判断四件事

用实际扫描、表格与图片分别标注预期结果，加入反光、小字、旋转和跨页难例。重要结论附原页或区域，由企业专业人员复核，测试范围之外的资料仍需另行验证。

## 参考来源

- [Google Cloud｜文档理解](https://docs.cloud.google.com/gemini-enterprise-agent-platform/models/capabilities/document-understanding)：多模态文档输入与理解能力；业务适用性仍需实测

- [Google Cloud Docs｜Structured output](https://docs.cloud.google.com/gemini-enterprise-agent-platform/models/capabilities/control-generated-output)：以结构约束生成输出及模型支持范围

## 从视觉信息到业务判断

- 识别与定位：对象、文字与原始位置

- 理解关系：单位、结构和适用条件

- 核对结论：区分证据与推断

![从视觉信息到业务判断](/images/guides/diagrams/multimodal-model-evaluation.svg)

## 继续阅读

- [AI 识别 PDF 和扫描件，为什么还要核对原图？](/guides/document-ocr)

- [多模态知识库：让图片和文档结构参与理解](/guides/multimodal-knowledge)

- [企业选大模型：用自己的任务比较，比看榜单更有效](/guides/model-selection)

分别核对学习、企业建设和阶段评审证据；秩启标准属于品牌自身评价依据。

下一步：[查看成果与证据标准](/standards)

原文：/guides/multimodal-model-evaluation

内容版本：guide:multimodal-model-evaluation:v1

<!-- version:guide:multimodal-model-evaluation:v1 -->

[结合企业情况咨询](/intake?source=%2Fguides%2Fmultimodal-model-evaluation&articleId=guide%3Amultimodal-model-evaluation&versionId=guide%3Amultimodal-model-evaluation%3Av1)