Kaggle Tabular Competition Book

テーブルコンペ入門 ― Smartphone Addiction で 1 周する

Kaggle のテーブルコンペを、データの確認から最終提出まで 1 周する本である。題材は Playground Series S6E8(スマホ依存の二値分類)。頭から順に読むと、「次に何をやるか」「なぜやるか」「どう書くか」「何が出たか」をたどりながら、LightGBM を中心としたコードを自分で書けるようになる。

Python
3.14
DataFrame
Polars 1.44
Model
LightGBM 4.7
Notebook
marimo
題材
Playground S6E8
評価指標
ROC-AUC

この本の読み方

どの節も、次の 4 つをこの順番で書いている。

  1. 次にやること — 前の節の結果を受けて、今から何をするか
  2. 理由 — なぜそれをやるのか、なぜその方法を選ぶのか
  3. コード — 写せば動くコードと、使う関数の説明
  4. 結果 — 実際に出た出力と、その読み方。最後の「→」で次の節につなぐ

marimo で動かす:S6E8 のコードは marimo のノートブックで、コードの枠 1 つを 1 つのセルとして動かす。ノートブックは章ごとに 1 冊である。marimo では、同じ名前の変数を 2 つのセルで定義するとエラーになる(インポートした名前も同じである)。そのため、ライブラリと定数は各ノートブックの最初のセルでまとめて定義する。セルの中だけで使う変数は、名前の頭に _ を付ける(_d、_name など)。_ で始まる名前はそのセルの中だけのものになり、ほかのセルとぶつからない。また、marimo のエディターの型チェック(ty)と lint(ruff)で Problems が出ないように書いている(書き方の理由は 3-4)。marimo の入れ方、ノートブックの開き方、marimo が保存する .py ファイルの形は、第0章で説明する。

S6E8 のコードと出力は、S6E8 の生データ(train 691,369 行)で実行した実測値である。S6E8 だけでは説明できないこと(文字列の列、グループのあるデータ、Accuracy の指標など)は、別のデータで補っている。

別のコンペで使うとき:コンペごとに違うのは、データの置き場所 PROJECT、目的変数の列名 TARGET、ID の列名 ID の 3 つである。この 3 つは、第1章では 1-1(PROJECT)・1-2(TARGET)・1-3(ID)のセルで、第2〜7章では各ノートブックの最初のセルで定義し、コードの中では列名を直接書かずに TARGET や ID を使う。そのため、書き換えるのは各ノートブックの最初のセル(1-1・1-2・1-3、2-1、3-1、4-1、5-1、6-1、7-1)だけである。第4章で作る特徴量だけは、そのコンペの列に合わせて自分で考える。

グラフ:グラフには、章ごとの通し番号で図番号を付けている(図 1.2 は第1章の 2 枚目の図)。本文からは図番号で図を指し、図番号を押すとその図へ移動する。図そのものを押すと画面いっぱいに広がり、もう一度押すか Esc キーで戻る。グラフの色は全章で共通で、目的変数の 0 は青、1 は赤、train は紺、test はオレンジである。グラフのコードも、ほかのコードと同じく本の順に実行すればそのまま描ける。

用語の英語:専門用語には、初めて出てくるところで英語を()で添えている(例:陽性率(positive rate))。Kaggle の Discussion やライブラリの説明は英語なので、検索に用いるとよい。

別題材 オレンジの囲みと節は S6E8 ではない。別のコンペ(Kaggle の Titanic の train.csv 891 行、Playground S6E9)で実行したコードと出力である。
図の読み方 緑の枠は、すぐ上の図についての説明である。「このグラフを使う理由」「何を見るか」「見方(横軸・縦軸・色の意味)」の 3 つを書いている。図から読み取れたことは、そのあとの本文に書く。
採択 保留 不採択 出力の中の判定はラベルで示す(実際に出る文字は [採択] などである)。「改善 Fold」の点は、5 Fold のうちベースラインより良くなった Fold の数である。

章ごとの目次

CH 0 3 節
marimo のノートブックを用意する(準備)

この本のコードは、marimo のノートブックで動かす。第1章に入る前に、marimo を入れ、ノートブックを開いてセルを実行し、ノートブックのファイル(.py)の中身を読めるようにする。この章のコマンドはノートブックのセルではなく、ターミナル(Windows では PowerShell)で実行する。

CH 1 9 節 · 図 9
データを知る(EDA)

この章では、コンペのデータを読み込み、形・目的変数(target variable)・欠損(missing value)・列ごとの傾向を確かめる。EDA の目的はきれいなグラフを作ることではなく、次の工程で何をするかを決めることである。そのため各節は、判断に使う数字を出して終わる。グラフは、その数字の形を目で確かめ、表では気づきにくい形を見つけるために描く。目的変数の 0 と 1 は青と赤、train と test は紺とオレンジに、全部のグラフで色をそろえる。グラフは押すと画面いっぱいに広がる。1-4 まででデータの形が分かったら、いったん第2章・第3章で最初の提出まで通し、1-5 以降は後で戻ってきて進める。

CH 2 2 節
検証の仕組みを作る(CV 設計)

第1章でデータの形が分かった。モデルを作る前に、モデルの良し悪しを手元で測る仕組みを作る。Kaggle の Public LB は test の一部だけで計算されていて、1 日に出せる回数も限られる。最終順位は残りの test(Private LB)で決まるので、Public LB の上下だけを追いかけると、たまたま Public に合った設定を選んでしまう。そこで train を分割して手元で検証する CV(交差検証、cross-validation)を作り、以降のすべての判断をこのスコアで行う。

CH 3 8 節 · 図 5
LightGBM で最初の提出をする(ベースライン)

第2章で固定した分割(folds.csv)を使い、LightGBM で最初の提出まで一本通す。特徴量の加工も欠損処理もせず、パラメータは固定値で構わない。この章のゴールはスコアを上げることではなく、改善を測る基準値(ベースラインの OOF AUC)とその揺らぎ幅(ノイズフロア、noise floor)を手に入れ、提出の形を初日に確かめることである。入力から学習・OOF 予測・評価・提出ファイルまでが通って初めて、第4章以降の「仮説を立てて確かめる」改善のサイクルが回り始める。

CH 4 10 節 · 図 3
特徴量を作る(特徴量エンジニアリング)

第3章では LightGBM のベースラインを作り、OOF AUC 0.960379(3-4)を基準値、シードを変えたときの揺らぎ幅 0.000163(3-5)をノイズフロアとして記録した。この章では、この 2 つの数字をものさしにして特徴量を足していく。目的は、思いつく特徴量をたくさん作ることではない。ドメインの仮説から作った特徴量を 1 つずつ足して測り、意味のある改善だけを残すことである。

CH 5 7 節 · 図 2
パラメータを調整する(Optuna)

第4章で、特徴量セット features_v1(14 列)と、その OOF AUC 0.960856 が確定した。この章では、この値を新しい基準値にして、LightGBM のパラメータを Optuna で調整する。第3・4章では木の数を 500 本に固定してきたが、この章からは木の数も early stopping で決める。目的は、当てずっぽうに何百回も試すことではない。計算にかかる時間を見積もって、軽い設定の「探索」と全データでの「確認」を分け、改善が本物かどうかを確かめる。最後に、採用したパラメータを設定ファイルに保存して第6章に渡す。

CH 6 7 節 · 図 3
ほかのモデルと比べる(モデル比較)

第5章でパラメータと木の数を決めた LightGBM は、OOF AUC 0.964792 に到達した。この章では、同じ分割・同じ特徴量のまま XGBoost・CatBoost・LogisticRegression を並べて、性能・計算時間・予測の相関を測る。XGBoost と CatBoost も第5章と同じ手順で調整してから比べる。目的は単体で最も強いモデルを探すことだけではない。第7章のアンサンブルに向けて、「違う間違え方をする」予測を集めることである。ただし単体スコアが低すぎるモデルは、混ぜると足を引っ張る。多様性と、足手まといにならない精度の両方を見ていく。

CH 7 8 節 · 図 3
混ぜて最終提出する(アンサンブル)

この章の目的は、単体で最も強い XGBoost(OOF AUC 0.965067)を超える予測を作り、最終順位を決める Private Leaderboard に向けて 2 系統の提出ファイルを確定することである。アンサンブルが効くには、各モデルの単体精度が十分に高く、予測の誤り方に多様性があることが前提である。この章ではモデルの再学習をしない。第6章で保存した OOF 予測と test 予測の上で足し算・掛け算・順位付けだけを行うので、どの手法も数秒〜数分で試せる。そのぶん、過適合の検証や重みの探索にしっかり時間を使える。

CHEAT Polars / 図
最低限おぼえる Polars

この本で主に使った Polars の操作は、次のとおりである。ここが手癖になれば、テーブルコンペで Python が原因で止まることはほぼ無くなる。