核心 GUIDE

PRACTICEINTERMEDIATE7 分钟阅读

AI 辅助数据分析的 Verification

AI 可以加速 Extraction、Transformation 与 Interpretation,但所有重要数值结论都应该能从显式 Data 与 Calculation 中独立复现,而不是只存在于模型 Narrative。

核心心智模型

把模型当作 Analysis Collaborator,而不是 Calculator of Record。可靠分析要拆开 Source Data、Deterministic Transformation、Statistical Assumption 与 Narrative Interpretation,使每一层都能独立检查。

为什么重要

模型很擅长提出 Formula 和解释 Pattern,但也可能悄悄看错 Unit、漏掉 Row、选择错误 Denominator 或生成一个很合理的数字。当 Output 会驱动 Business Decision 时,Fluent Explanation 不够。Calculation Path 必须可重新运行,高后果 Assertion 应能够追到具体 Row 或 Aggregate。

01

建立可复现 Evidence Chain

Raw Input 保持 Immutable,把 Transformation 写成 Code 或可审计 Formula,并记录 Missing-value Handling、Grouping Logic 等 Assumption。让 AI 提议或解释 Analysis,但在 Deterministic Environment 真正执行 Calculation。对于高后果 Metric,再用 Spot Check、Invariant 与 Independent Recompute 验证,然后才写 Narrative。

02

示例:Conversion Rate 用错 Denominator

AI Summary 说 Conversion 从 12% 升到 15%,但一个 Period 用 Purchase/Sessions,另一个却用 Purchase/Users。可复现 Notebook 会立刻暴露 Denominator Mismatch。纠正计算后 Conclusion 发生变化,Narrative 也必须从 Verified Metric 重新生成,而不是因为原说明听起来合理就保留。

常见失败模式

  • 直接复制 Model Prose 中的数字,不重新执行计算。
  • Comparison Period 之间偷偷改变 Data-cleaning Assumption。
  • Chart 看起来合理,就当作底层 Aggregation 已被验证。

工程启发

  • 重要 Metric 用 Code 或 Explicit Formula 保持可复现。
  • 解释 Trend 前检查 Unit、Denominator、Join 与 Missing-data Policy。
  • 每个高后果 Claim 都追溯到 Verified Table 或 Calculation。

关键结论

  1. 01Narrative Quality 无法验证 Arithmetic。
  2. 02Deterministic Recompute 是 AI-assisted Analysis 的锚点。
  3. 03Verification 同时覆盖 Data Transformation 与 Interpretation Assumption。

阅读记录

未打开Practice 尚未完成

这里只记录你真实做过的动作,不代表掌握、熟练或认证。

用于这些学习路径

这个 Concept 会在多个 canonical 学习路径中复用。

来自 Knowledge Graph 的相关知识点

这些关系直接来自 canonical graph,不维护第二套 Guide 分类体系。

先结构化分析,再综合PREREQUISITE