核心 GUIDE
Multimodal Representation（多模态表征）
Multimodal System 必须把 Text、Image、Audio、Video 转成能保留任务关键信息的 Representation；支持多种输入并不代表所有模态都同样可观察或可互换。
核心心智模型
把每种 Modality 看成不同的测量通道。模型只能基于经过 Preprocessing、Encoding 与 Alignment 后仍被保留下来的 Signal 做判断。
为什么重要
产品常说“模型支持图片”，却忽略 Resize、OCR、Frame Sampling、Audio Segmentation 等步骤可能在 Reasoning 之前就丢掉关键 Evidence。Representation 因此不仅是模型架构问题，也是 Application Design 的一部分。
01
追踪 Raw Input 到 Model-visible Evidence
先列出这次 Decision 依赖哪些 Cue，再检查 Preprocessing 与 Encoding 是否保留它们。Image 要检查 Resolution、Crop、Spatial Relationship；Audio 要检查 Timing 与 Speaker Boundary；Video 要检查 Frame Selection 与 Temporal Order。能使用 Structured Metadata 补足 Grounding 时，不要只依赖压缩后的感知输入。
02
示例：Screenshot Agent 看不到 Disabled Button 的原因
Support Workflow 把截图大幅 Downscale 后交给 Vision Model，询问为什么无法 Checkout。关键 Disabled-state Label 已不可读，模型于是编造 Policy 原因。保留相关区域的高 Resolution Crop，并同时传入 DOM Accessibility State 后，系统才真正拥有做正确 Decision 所需的 Evidence。
常见失败模式
- 认为支持某种 Modality 就意味着所有关键信息都会被保留。
- 压缩或采样 Input，却不测试用户依赖的最小 Evidence。
- 模型从未看到忠实 Representation，却把 Failure 归因于 Reasoning。
工程启发
- 在选择 Preprocessing Default 前先定义必须保留的 Evidence。
- 优先使用 Task-aware Crop、Segment、Frame，而不是无差别压缩。
- Structured Metadata 更可靠时，用它辅助 Multimodal Grounding。
关键结论
- 01Modality 的价值取决于 Representation 保留了什么。
- 02很多 Multimodal Failure 在 Reasoning 之前就已经发生。
- 03可靠跨模态系统需要追踪 Evidence，而不只是开启 Input Type。
阅读记录
这里只记录你真实做过的动作，不代表掌握、熟练或认证。
用于这些学习路径
这个 Concept 会在多个 canonical 学习路径中复用。
来自 Knowledge Graph 的相关知识点
这些关系直接来自 canonical graph，不维护第二套 Guide 分类体系。