核心 GUIDE
AI 辅助数据分析的 Verification
AI 可以加速 Extraction、Transformation 与 Interpretation,但所有重要数值结论都应该能从显式 Data 与 Calculation 中独立复现,而不是只存在于模型 Narrative。
核心心智模型
把模型当作 Analysis Collaborator,而不是 Calculator of Record。可靠分析要拆开 Source Data、Deterministic Transformation、Statistical Assumption 与 Narrative Interpretation,使每一层都能独立检查。
为什么重要
模型很擅长提出 Formula 和解释 Pattern,但也可能悄悄看错 Unit、漏掉 Row、选择错误 Denominator 或生成一个很合理的数字。当 Output 会驱动 Business Decision 时,Fluent Explanation 不够。Calculation Path 必须可重新运行,高后果 Assertion 应能够追到具体 Row 或 Aggregate。
01
建立可复现 Evidence Chain
Raw Input 保持 Immutable,把 Transformation 写成 Code 或可审计 Formula,并记录 Missing-value Handling、Grouping Logic 等 Assumption。让 AI 提议或解释 Analysis,但在 Deterministic Environment 真正执行 Calculation。对于高后果 Metric,再用 Spot Check、Invariant 与 Independent Recompute 验证,然后才写 Narrative。
02
示例:Conversion Rate 用错 Denominator
AI Summary 说 Conversion 从 12% 升到 15%,但一个 Period 用 Purchase/Sessions,另一个却用 Purchase/Users。可复现 Notebook 会立刻暴露 Denominator Mismatch。纠正计算后 Conclusion 发生变化,Narrative 也必须从 Verified Metric 重新生成,而不是因为原说明听起来合理就保留。
常见失败模式
- 直接复制 Model Prose 中的数字,不重新执行计算。
- Comparison Period 之间偷偷改变 Data-cleaning Assumption。
- Chart 看起来合理,就当作底层 Aggregation 已被验证。
工程启发
- 重要 Metric 用 Code 或 Explicit Formula 保持可复现。
- 解释 Trend 前检查 Unit、Denominator、Join 与 Missing-data Policy。
- 每个高后果 Claim 都追溯到 Verified Table 或 Calculation。
关键结论
- 01Narrative Quality 无法验证 Arithmetic。
- 02Deterministic Recompute 是 AI-assisted Analysis 的锚点。
- 03Verification 同时覆盖 Data Transformation 与 Interpretation Assumption。
阅读记录
这里只记录你真实做过的动作,不代表掌握、熟练或认证。
用于这些学习路径
这个 Concept 会在多个 canonical 学习路径中复用。
来自 Knowledge Graph 的相关知识点
这些关系直接来自 canonical graph,不维护第二套 Guide 分类体系。