# 多模态知识库：让图片和文档结构参与理解 从技术图纸、产品图片与表格理解多模态知识库，区分看见内容和正确解释内容。 要点：多模态知识库应保留图片、表格与页面结构中影响判断的信息，而不只是把文件转换成文字。企业需要确认模型取得了什么、是否理解对象关系，以及答案能否回到原始位置。视觉能力应在实际资料上验证。 ![在产品图片、材料样品和目录之间核对信息（AI概念配图）](/images/product-evidence/portal-match-v3.png) ## 有些知识存在于位置与关系中 技术图纸中的箭头、表格的行列、产品图片中的部件位置，都可能改变文字含义。将它们拆成连续文本后，一个参数可能失去对应型号，一条说明可能离开它限制的部件。 资料处理时应判断哪些结构必须保留。简单文字可以直接提取，复杂表格和图示可能需要同时保存页面图像、位置与解释。处理方式应随资料类型变化，不能以一种解析成功代表所有文件都可用。 ## 检索入口与回答依据需要同时设计 用户可能用文字描述外观，也可能上传图片询问某个部件。系统需要能够定位相关对象和资料，并保留足以核对的依据。模型看到了图片，不意味着已经识别正确型号或理解全部技术条件。 可以先从范围明确的资料开始，例如一组有正式编码的产品说明。检索结果同时提供图像与关键文字，让后续回答能够确认对象及限制。对于相似外观，仍应核对编码或其他可靠标识。 ## 用视觉错误的类型组织测试 选择模糊、遮挡、旋转、细小标注和跨页表格等样例，记录错误属于识别、定位、关系理解还是事实推断。不同错误需要不同改进，不能全部归为“模型不够强”。 对尺寸、材料或适用条件等重要结论，保留原始页面位置供人工核对。没有足够信息时，应请求更清晰资料或转交负责人，避免由外观推断资料没有确认的技术事实。 | 资料类型 | 需要保留的线索 | | --- | --- | | 技术图纸 | 标注、箭头、比例及版本 | | 参数表格 | 行列标题、单位及脚注 | | 产品图片 | 对象标识与拍摄条件 | | 流程截图 | 状态、顺序与操作范围 | ## 多模态能力应服务于具体判断 先明确哪些问题因为保留图像而更容易正确回答，再讨论扩大资料类型。对于纯文字规则，额外引入图像解析未必改善结果，却可能增加费用和维护负担。 多模态知识建设的价值，是减少内容转换过程中的信息损失。让图像、文字与来源保持关系，员工才有条件理解模型为什么给出某个判断。 ## 把视觉依据与文字一起保留 选择一张参数表或图纸，让结果指出原页、区域、行列与单位，再由企业专业人员核对。测试模糊与跨页情况，无法可靠定位的字段保持待确认，不凭模型描述建立产品事实。 ## 参考来源 - [Dify｜Knowledge Pipeline](https://www.dify.ai/rag)：资料处理、检索与来源引用的产品说明 - [Google Cloud｜文档理解](https://docs.cloud.google.com/gemini-enterprise-agent-platform/models/capabilities/document-understanding)：多模态文档输入与理解能力；业务适用性仍需实测 ## 保留图像中的判断线索 - 识别对象：型号、位置与页面 - 理解关系：表格、标注与条件 - 核对依据：答案回到原始资料 ![保留图像中的判断线索](/images/guides/diagrams/multimodal-knowledge.svg) ## 继续阅读 - [AI 识别 PDF 和扫描件，为什么还要核对原图？](/guides/document-ocr) - [多模态模型怎么测：看懂图片之后，还要看懂问题](/guides/multimodal-model-evaluation) - [文档进入 RAG 知识库前，怎样整理才便于检索？](/guides/rag-document-preparation) 围绕当前问题查看任务、资料与人工确认示例，再用企业样例验证。 下一步：[按业务环节查看沙盘](/library) 原文：/guides/multimodal-knowledge 内容版本：guide:multimodal-knowledge:v1 [结合企业情况咨询](/intake?source=%2Fguides%2Fmultimodal-knowledge&articleId=guide%3Amultimodal-knowledge&versionId=guide%3Amultimodal-knowledge%3Av1)