ISAS 与 OSAS：同一条流，两种搭法

ISAS：一条流的标准骨架

SPSS Modeler 的流是从左到右的一条链，而它的节点顺序几乎就是九步的顺序——这是它在这门课里最大的优势：流的截图本身就是方法论证据。

连起来是这样一条流（每个箭头是一根连线）：

Var.File → Data Audit
         ↘ Filter → Filler → Distinct → Derive → Type → Partition → C5.0
                                                                  ↘ nugget → Analysis
                                                                           → Evaluation

OSAS：五个工具的分工

课程给的开源栈很长，但你不需要平均用力。下面这个分工能让每个工具都在报告里留下一处证据，同时把主要工作留在你最快的那个工具里：

为什么这个分工是对的：它让每个工具做自己最擅长的事，而且每个工具的产出都能直接对应报告的某一节。报告里写一段「工具选择理由」，Step 1.2 的资源盘点就活了：

工具分工与理由（Iteration 3）
· MySQL：数据以关系表存储，便于版本控制与多次查询；选择逻辑
  （3.1）以 SQL 表达，可复现且易审阅。
· Kettle：清洗步骤以可视化转换实现，每个 step 对应 3.2 的一项
  处置，非技术读者亦可审阅数据流向。
· Python/Jupyter：承担特征构造、建模与评估，因其生态最完整
  且便于与 Iteration 4 的 PySpark 对齐。
· Weka：用于 6.2 的多算法横向比较（J48/NaiveBayes/IBk），
  其 Explorer 界面可在数分钟内产出可比的混淆矩阵与 Kappa。
· Tableau：承担 2.3 与 8.2 的可视化，输出交付给决策者的仪表板。

Python 主线的 Notebook 骨架

Notebook 的单元格结构就照九步编号，每个 Markdown 单元用 ## 3.2 Clean the data 当标题。这样做有个隐藏好处：导出 PDF 之后，Notebook 本身就是报告的附录，而且编号能对上正文。

## 7.1 Test design ────────────────────────────────
from sklearn.model_selection import train_test_split, StratifiedKFold, cross_validate
from sklearn.pipeline import Pipeline
from sklearn.compose import ColumnTransformer
from sklearn.impute import SimpleImputer
from sklearn.preprocessing import StandardScaler, OneHotEncoder
from sklearn.linear_model import LogisticRegression
from sklearn.tree import DecisionTreeClassifier

X = df[num_cols + cat_cols]
y = (df['u5mr'] > 25).astype(int)          # 阈值来自 SDG 3.2.1

X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.30, stratify=y, random_state=42)   # 分层 + 固定种子

pre = ColumnTransformer([
    ('num', Pipeline([('imp', SimpleImputer(strategy='median')),
                      ('sc',  StandardScaler())]), num_cols),
    ('cat', OneHotEncoder(handle_unknown='ignore', drop='first'), cat_cols),
])   # 所有统计量只在 fit 时从训练集算 —— 这就是防预处理泄漏的写法

## 6.2 Algorithm selection ────────────────────────
models = {
    'logreg': LogisticRegression(max_iter=1000, class_weight='balanced'),
    'tree':   DecisionTreeClassifier(max_depth=2, min_samples_leaf=12, random_state=42),
}
cv = StratifiedKFold(n_splits=5, shuffle=True, random_state=42)
for name, clf in models.items():
    pipe = Pipeline([('pre', pre), ('clf', clf)])
    cvres = cross_validate(pipe, X_train, y_train, cv=cv,
                           scoring=['accuracy', 'f1', 'roc_auc'])
    print(name, {k: f'{v.mean():.3f} ± {v.std():.3f}'
                 for k, v in cvres.items() if k.startswith('test_')})

## 7.2 Execute + 8.1 Evaluate ─────────────────────
best = Pipeline([('pre', pre), ('clf', models['logreg'])]).fit(X_train, y_train)
proba = best.predict_proba(X_test)[:, 1]

## 8.4 阈值扫描（第 18 章的代价表）
for t in [0.1, 0.15, 0.2, 0.3, 0.5, 0.7]:
    pred = (proba >= t).astype(int)
    tn, fp, fn, tp = confusion_matrix(y_test, pred).ravel()
    print(f'thr={t:.2f} recall={tp/(tp+fn):.3f} prec={tp/(tp+fp):.3f} '
          f'FN={fn} FP={fp} cost(10:1)={fn*10+fp}')

四个细节值得指出，它们各对应前面某一章的结论：

• stratify=y 与 random_state=42 —— 第 17 章的分层与可复现。
• ColumnTransformer 包住填补与缩放 —— 第 13 章的预处理泄漏防线。
• handle_unknown='ignore' —— 第 11 章那个「列规格要冻住」的 bug。
• 最后那个阈值循环 —— 第 18 章的代价表，五行代码换 Step 8 里一整块分。

这一章的一句话

SPSS Modeler 的节点顺序几乎就是九步顺序，所以流的截图＋节点注释本身就是方法论证据；OSAS 那次不要平均用力——MySQL 存、Kettle 清、Python 建模、Weka 横比、Tableau 出板，每个工具留一处证据，再补一节「与 ISAS 的结果对比」。

下一章是环境风险最高的一次迭代：AWS EC2 上的 PySpark。它有三处思维差会让熟悉 pandas 的人栽跟头，而其中最贵的一个叫数据倾斜——一个热键能让作业从 2.7 分钟变成 77 分钟。