多模态知识库：让图片和文档结构参与理解

有些知识存在于位置与关系中

技术图纸中的箭头、表格的行列、产品图片中的部件位置，都可能改变文字含义。将它们拆成连续文本后，一个参数可能失去对应型号，一条说明可能离开它限制的部件。

资料处理时应判断哪些结构必须保留。简单文字可以直接提取，复杂表格和图示可能需要同时保存页面图像、位置与解释。处理方式应随资料类型变化，不能以一种解析成功代表所有文件都可用。

检索入口与回答依据需要同时设计

用户可能用文字描述外观，也可能上传图片询问某个部件。系统需要能够定位相关对象和资料，并保留足以核对的依据。模型看到了图片，不意味着已经识别正确型号或理解全部技术条件。

可以先从范围明确的资料开始，例如一组有正式编码的产品说明。检索结果同时提供图像与关键文字，让后续回答能够确认对象及限制。对于相似外观，仍应核对编码或其他可靠标识。

用视觉错误的类型组织测试

选择模糊、遮挡、旋转、细小标注和跨页表格等样例，记录错误属于识别、定位、关系理解还是事实推断。不同错误需要不同改进，不能全部归为“模型不够强”。

对尺寸、材料或适用条件等重要结论，保留原始页面位置供人工核对。没有足够信息时，应请求更清晰资料或转交负责人，避免由外观推断资料没有确认的技术事实。

多模态能力应服务于具体判断

先明确哪些问题因为保留图像而更容易正确回答，再讨论扩大资料类型。对于纯文字规则，额外引入图像解析未必改善结果，却可能增加费用和维护负担。

多模态知识建设的价值，是减少内容转换过程中的信息损失。让图像、文字与来源保持关系，员工才有条件理解模型为什么给出某个判断。

把视觉依据与文字一起保留

选择一张参数表或图纸，让结果指出原页、区域、行列与单位，再由企业专业人员核对。测试模糊与跨页情况，无法可靠定位的字段保持待确认，不凭模型描述建立产品事实。