CH 2検証の仕組みを作る(CV 設計)
第1章でデータの形が分かった。モデルを作る前に、モデルの良し悪しを手元で測る仕組みを作る。Kaggle の Public LB は test の一部だけで計算されていて、1 日に出せる回数も限られる。最終順位は残りの test(Private LB)で決まるので、Public LB の上下だけを追いかけると、たまたま Public に合った設定を選んでしまう。そこで train を分割して手元で検証する CV(交差検証、cross-validation)を作り、以降のすべての判断をこのスコアで行う。
2-1分割方法を選ぶ
次にやること
1-2 で目的変数の陽性率を見た。この結果を使って、train をどう分けて検証するかを決める。第2章は新しいノートブックで始めるので、最初にライブラリ・定数・データを用意する。
理由
分割は「train と test の関係」をまねる:CV は「学習に使っていないデータでどれだけ当たるか」を測るものである。本番では、学習に使った train と別の test を予測する。手元の検証側と学習側の関係が、本番の test と train の関係と同じになるように分けないと、CV のスコアは本番のスコアを表さない。
| データの性質 | 使う分割/理由 |
|---|---|
| 回帰(目的変数が連続値) | KFold/層化する対象がない |
| 分類で、クラスの割合が偏っている | StratifiedKFold/各 Fold のクラス割合をそろえ、Fold 間のブレを減らす(S6E8 はこれ) |
| 同じ人・同じ家族・同じ店などの行が複数ある | GroupKFold / StratifiedGroupKFold/同じグループが学習側と検証側に分かれると、答えを覚えているだけでスコアが上がる |
| train が過去、test が未来 | TimeSeriesSplit など時間順の分割/未来のデータで学習して過去を当てる状況を作らない |
新しいノートブックなので最初に用意する:ノートブックは章ごとに 1 冊なので、第2章で使うライブラリ(numpy・polars・StratifiedKFold)と、PROJECT・ID・TARGET、train の読み込みを、この章の最初のセルで用意し直す。値は第1章と同じにし、生データは第1章と同じく train_raw の名前で読み、コピーの train を使う。
S6E8 で StratifiedKFold を選ぶ理由:S6E8 は Playground シリーズで、train と test は同じ生成元からランダムに分けられている。同じ人が何行も出てくる構造や、時間の順序もない。残る問題は陽性率が 0.7094 と偏っていることなので、各 Fold の陽性率をそろえる StratifiedKFold を使う。
コード
まず、第2章で使うライブラリ・定数・データを用意する。値は第1章と同じである。
# 第2章で使うライブラリを、最初のセルでまとめてインポートする
from pathlib import Path
import numpy as np
import polars as pl
from sklearn.model_selection import StratifiedKFold
# データの置き場所と定数(第1章と同じ値)
PROJECT = Path(r"D:\kaggle\smartphone-addiction_s6e8") # データの置き場所。自分の環境に合わせて書き換える
RAW_DIR = PROJECT / "data" / "raw"
PROCESSED_DIR = PROJECT / "data" / "processed" # folds.csv(2-2)
PROCESSED_DIR.mkdir(parents=True, exist_ok=True)
ID = "id"
TARGET = "addicted_label"
train_raw = pl.read_csv(RAW_DIR / "train.csv") # 生データ(1-1 と同じ)
train = train_raw.clone() # 以降は作業用のコピーを使う1-2 と同じ確認
print("陽性率:", round(train[TARGET].to_numpy().mean(), 4))PROCESSED_DIR.mkdir(parents=True, exist_ok=True) | 2-2 で分割を保存するフォルダーを作る。すでにあれば何もしない |
|---|---|
df[col].to_numpy().mean() | 0/1 の列なら平均がそのまま陽性率になる |
結果
陽性率: 0.7094
陽性率は約 71% で、クラスの割合が偏っている。グループや時間の構造はないので、S6E8 では StratifiedKFold(n_splits=5) を使う。
S6E8 にはグループの構造がないので、下の囲みでは Titanic を使って、グループがあるときに分割の選び方でスコアがどれだけ変わるかを見る。その後、2-2 で分割を固定して保存する。
2-2分割を固定して folds.csv に保存する
次にやること
2-1 で StratifiedKFold を使うと決めた。この分割を 1 回だけ作り、data/processed/folds.csv に保存する。以降のすべての実験はこのファイルを読み込んで使う。2 回目以降にこのセルを実行したときは、作り直さずにファイルを読み込み、今のデータと合っているかを確かめる。
理由
分割が実験ごとに変わると比べられない:分割が変わると、スコアの差がモデルの差なのか分割の差なのか分からなくなる。ファイルに保存すれば、別のノートブック、別の日、別のマシンでも同じ分割を再現できる。
random_state だけでなくファイルにする理由:random_state を固定するだけでも同じ分割にはなるが、ファイルにすると読み込み時に行数と目的変数の一致を assert で確かめられる。データを差し替えたときの事故に気づける。
ファイルがあれば作り直さない:このセルを実行するたびに上書きすると、知らないうちに分割が変わる道を残す(たとえば train.csv を新しい版に差し替えたとき)。ファイルがすでにあれば読み込むだけにして、id の並び・目的変数・Fold 番号が今の train と合っているかを assert で確かめる。合わなければ止まるので、そのときは理由を確かめてから folds.csv を消し、作り直す。
コード
# このセルの中だけで使う変数は _ で始める(y は 3-1 で作る)
_folds_path = PROCESSED_DIR / "folds.csv"
_y = train[TARGET].to_numpy()
if _folds_path.exists():
# 2 回目以降: 作り直さずに読み込む
fold_df = pl.read_csv(_folds_path)
else:
# 初回だけ: 分割を作って保存する
_folds = np.zeros(len(_y), dtype=int)
_skf = StratifiedKFold(n_splits=5, shuffle=True, random_state=42)
for _i, (_, _valid_idx) in enumerate(_skf.split(np.zeros(len(_y)), _y)):
_folds[_valid_idx] = _i
fold_df = pl.DataFrame({ID: train[ID], "fold": _folds, TARGET: _y})
fold_df.write_csv(_folds_path)
# 作ったときも読み込んだときも、今の train と合っているかを確かめる
assert fold_df.height == train.height, "行数が train と一致しません"
assert fold_df[ID].equals(train[ID]), "id の並びが train と一致しません"
assert (fold_df[TARGET].to_numpy() == _y).all(), "目的変数が train と一致しません"
assert sorted(fold_df["fold"].unique().to_list()) == [0, 1, 2, 3, 4], "Fold 番号が 0〜4 ではありません"
folds = fold_df["fold"].to_numpy()
print("fold sizes:", np.bincount(folds))path.exists() | ファイルがすでにあるかを調べる。あれば読み込み、なければ作る |
|---|---|
StratifiedKFold(n_splits, shuffle=True, random_state=) | 目的変数の陽性率を均等に保ったまま分割する |
_skf.split(X, y) | (train_index, valid_index) を Fold 数だけ返す |
np.zeros(n, dtype=int) | 各行の Fold 番号を入れる整数の配列 |
df.write_csv(path) /pl.read_csv(path) | 分割結果を CSV に保存する / 保存した分割を読み込む |
assert fold_df[ID].equals(train[ID]) | id が同じ順番で並んでいるかを確かめる。folds と train を行の位置で対応させてよい根拠になる |
assert (fold_df[TARGET].to_numpy() == _y).all() | 保存した目的変数が今の train と同じかを確かめる |
assert sorted(fold_df["fold"].unique().to_list()) == [0, 1, 2, 3, 4] | 5 つの Fold が全部そろっていることを確かめる |
結果
fold sizes: [138274 138274 138274 138274 138273]
5 つの Fold がほぼ同じ件数(138,273〜138,274 行)に分かれた。これで全章が同じ分割でスコアを比べられる。
検証の仕組みができたので、第3章で最初のモデルを作り、提出まで通す。