CH 2検証の仕組みを作る(CV 設計)

第1章でデータの形が分かった。モデルを作る前に、モデルの良し悪しを手元で測る仕組みを作る。Kaggle の Public LB は test の一部だけで計算されていて、1 日に出せる回数も限られる。最終順位は残りの test(Private LB)で決まるので、Public LB の上下だけを追いかけると、たまたま Public に合った設定を選んでしまう。そこで train を分割して手元で検証する CV(交差検証、cross-validation)を作り、以降のすべての判断をこのスコアで行う。

2-1分割方法を選ぶ

次にやること

1-2 で目的変数の陽性率を見た。この結果を使って、train をどう分けて検証するかを決める。第2章は新しいノートブックで始めるので、最初にライブラリ・定数・データを用意する。

理由

分割は「train と test の関係」をまねる:CV は「学習に使っていないデータでどれだけ当たるか」を測るものである。本番では、学習に使った train と別の test を予測する。手元の検証側と学習側の関係が、本番の test と train の関係と同じになるように分けないと、CV のスコアは本番のスコアを表さない。

分割方法の選び方
データの性質使う分割/理由
回帰(目的変数が連続値)KFold/層化する対象がない
分類で、クラスの割合が偏っているStratifiedKFold/各 Fold のクラス割合をそろえ、Fold 間のブレを減らす(S6E8 はこれ)
同じ人・同じ家族・同じ店などの行が複数あるGroupKFold / StratifiedGroupKFold/同じグループが学習側と検証側に分かれると、答えを覚えているだけでスコアが上がる
train が過去、test が未来TimeSeriesSplit など時間順の分割/未来のデータで学習して過去を当てる状況を作らない

新しいノートブックなので最初に用意する:ノートブックは章ごとに 1 冊なので、第2章で使うライブラリ(numpy・polars・StratifiedKFold)と、PROJECT・ID・TARGET、train の読み込みを、この章の最初のセルで用意し直す。値は第1章と同じにし、生データは第1章と同じく train_raw の名前で読み、コピーの train を使う。

S6E8 で StratifiedKFold を選ぶ理由:S6E8 は Playground シリーズで、train と test は同じ生成元からランダムに分けられている。同じ人が何行も出てくる構造や、時間の順序もない。残る問題は陽性率が 0.7094 と偏っていることなので、各 Fold の陽性率をそろえる StratifiedKFold を使う。

コード

まず、第2章で使うライブラリ・定数・データを用意する。値は第1章と同じである。

# 第2章で使うライブラリを、最初のセルでまとめてインポートする
from pathlib import Path

import numpy as np
import polars as pl
from sklearn.model_selection import StratifiedKFold

# データの置き場所と定数(第1章と同じ値)
PROJECT = Path(r"D:\kaggle\smartphone-addiction_s6e8")   # データの置き場所。自分の環境に合わせて書き換える
RAW_DIR = PROJECT / "data" / "raw"
PROCESSED_DIR = PROJECT / "data" / "processed"  # folds.csv(2-2)
PROCESSED_DIR.mkdir(parents=True, exist_ok=True)

ID = "id"
TARGET = "addicted_label"

train_raw = pl.read_csv(RAW_DIR / "train.csv")   # 生データ(1-1 と同じ)
train = train_raw.clone()                        # 以降は作業用のコピーを使う

1-2 と同じ確認

print("陽性率:", round(train[TARGET].to_numpy().mean(), 4))
使う関数
PROCESSED_DIR.mkdir(parents=True, exist_ok=True)2-2 で分割を保存するフォルダーを作る。すでにあれば何もしない
df[col].to_numpy().mean()0/1 の列なら平均がそのまま陽性率になる

結果

陽性率: 0.7094

陽性率は約 71% で、クラスの割合が偏っている。グループや時間の構造はないので、S6E8 では StratifiedKFold(n_splits=5) を使う。

S6E8 にはグループの構造がないので、下の囲みでは Titanic を使って、グループがあるときに分割の選び方でスコアがどれだけ変わるかを見る。その後、2-2 で分割を固定して保存する。

2-2分割を固定して folds.csv に保存する

次にやること

2-1 で StratifiedKFold を使うと決めた。この分割を 1 回だけ作り、data/processed/folds.csv に保存する。以降のすべての実験はこのファイルを読み込んで使う。2 回目以降にこのセルを実行したときは、作り直さずにファイルを読み込み、今のデータと合っているかを確かめる。

理由

分割が実験ごとに変わると比べられない:分割が変わると、スコアの差がモデルの差なのか分割の差なのか分からなくなる。ファイルに保存すれば、別のノートブック、別の日、別のマシンでも同じ分割を再現できる。

random_state だけでなくファイルにする理由:random_state を固定するだけでも同じ分割にはなるが、ファイルにすると読み込み時に行数と目的変数の一致を assert で確かめられる。データを差し替えたときの事故に気づける。

ファイルがあれば作り直さない:このセルを実行するたびに上書きすると、知らないうちに分割が変わる道を残す(たとえば train.csv を新しい版に差し替えたとき)。ファイルがすでにあれば読み込むだけにして、id の並び・目的変数・Fold 番号が今の train と合っているかを assert で確かめる。合わなければ止まるので、そのときは理由を確かめてから folds.csv を消し、作り直す。

コード

# このセルの中だけで使う変数は _ で始める(y は 3-1 で作る)
_folds_path = PROCESSED_DIR / "folds.csv"
_y = train[TARGET].to_numpy()

if _folds_path.exists():
    # 2 回目以降: 作り直さずに読み込む
    fold_df = pl.read_csv(_folds_path)
else:
    # 初回だけ: 分割を作って保存する
    _folds = np.zeros(len(_y), dtype=int)
    _skf = StratifiedKFold(n_splits=5, shuffle=True, random_state=42)
    for _i, (_, _valid_idx) in enumerate(_skf.split(np.zeros(len(_y)), _y)):
        _folds[_valid_idx] = _i
    fold_df = pl.DataFrame({ID: train[ID], "fold": _folds, TARGET: _y})
    fold_df.write_csv(_folds_path)

# 作ったときも読み込んだときも、今の train と合っているかを確かめる
assert fold_df.height == train.height, "行数が train と一致しません"
assert fold_df[ID].equals(train[ID]), "id の並びが train と一致しません"
assert (fold_df[TARGET].to_numpy() == _y).all(), "目的変数が train と一致しません"
assert sorted(fold_df["fold"].unique().to_list()) == [0, 1, 2, 3, 4], "Fold 番号が 0〜4 ではありません"

folds = fold_df["fold"].to_numpy()
print("fold sizes:", np.bincount(folds))
使う関数
path.exists()ファイルがすでにあるかを調べる。あれば読み込み、なければ作る
StratifiedKFold(n_splits, shuffle=True, random_state=)目的変数の陽性率を均等に保ったまま分割する
_skf.split(X, y)(train_index, valid_index) を Fold 数だけ返す
np.zeros(n, dtype=int)各行の Fold 番号を入れる整数の配列
df.write_csv(path) /pl.read_csv(path)分割結果を CSV に保存する / 保存した分割を読み込む
assert fold_df[ID].equals(train[ID])id が同じ順番で並んでいるかを確かめる。folds と train を行の位置で対応させてよい根拠になる
assert (fold_df[TARGET].to_numpy() == _y).all()保存した目的変数が今の train と同じかを確かめる
assert sorted(fold_df["fold"].unique().to_list()) == [0, 1, 2, 3, 4]5 つの Fold が全部そろっていることを確かめる

結果

fold sizes: [138274 138274 138274 138274 138273]

5 つの Fold がほぼ同じ件数(138,273〜138,274 行)に分かれた。これで全章が同じ分割でスコアを比べられる。

検証の仕組みができたので、第3章で最初のモデルを作り、提出まで通す。