最低限おぼえる Polars

この本で主に使った Polars の操作は、次のとおりである。ここが手癖になれば、テーブルコンペで Python が原因で止まることはほぼ無くなる。

第1章から第7章で主に使う操作
df = pl.read_csv(path) / pl.read_parquet(p)   # 読む
train = train_raw.clone()                     # 作業用のコピー(生データは *_raw のまま残す)
df.shape / df.height / df.columns / df.schema # 形を見る
df.head(5) / df.describe()                    # 中身を見る
df.null_count()                               # 欠損を数える

df.select(cols)                               # 列を選ぶ
df.drop(cols)                                 # 列を落とす
df.with_columns(expr.alias("name"))           # 列を作る
df.filter(pl.col("x") > 3)                    # 行を絞る
df.sort("x", descending=True)                 # 並べ替える

pl.sum_horizontal([a, b])                     # 横方向に合計する
pl.col("x").over("group")                     # グループ単位で計算する
pl.when(c).then(x).otherwise(y)               # 条件分岐で値を作る
pl.col("x").qcut(4, labels=[...])             # ビンに切る
pl.col("c").cast(pl.Enum(levels))             # カテゴリの値をそろえる(3-2)
s.value_counts() / s.n_unique()               # 値ごとの件数・種類の数
s.is_null() / s.equals(other)                 # 欠損か / 同じ列か

df.group_by("k").agg(                         # 集計する
    pl.len().alias("n"),
    pl.col("y").mean().alias("rate"),
)
pl.concat([a, b])                             # 縦に結合する
df.hstack(other)                              # 横に並べる
df.join(other, on="id", how="left",            # id で結合する(行の順を保つ)
        maintain_order="left")

df.to_pandas() / df["x"].to_numpy()           # sklearn に渡す
df.write_csv(path) / df.write_parquet(p)      # 保存する

加えて StratifiedKFold、LGBMClassifier.fit / predict_proba、roc_auc_score の3つ。合計 20 数個で提出まで到達できる。

グラフは matplotlib と seaborn で描く。この本の図は、主に次の操作の組み合わせである。

グラフ(matplotlib・seaborn)
fig, ax = plt.subplots(figsize=(8, 4))               # 図(fig)と枠(ax)を作る
fig, axes = plt.subplots(2, 3, squeeze=False)        # 枠を格子状に作る(axes.ravel() で 1 列に並べる)

ax.bar(x, h) / ax.barh(y, w)                         # 棒グラフ(縦・横)
ax.plot(x, y, "o-") / ax.step(x, y)                  # 点・折れ線・階段
ax.hist(x, bins=50, density=True)                    # ヒストグラム(面積 1 にそろえる)
ax.axhline(y) / ax.axvline(x) / ax.axvspan(a, b)     # 基準の線・帯
ax.set_xscale("log")                                 # 対数の軸

sns.histplot(df, x=c, hue=TARGET, multiple="stack")  # 0/1 で塗り分けたヒストグラム
sns.boxplot(df, x=TARGET, y=c)                       # 箱ひげ図
sns.kdeplot(x, fill=True)                            # 密度の曲線(KDE)
sns.heatmap(table, annot=True)                       # ヒートマップ(相関行列など)

fig.tight_layout()                                   # 枠どうしが重ならないように整える
fig                                                  # marimo ではセルの最後に置くと表示される

名前は _fig・_ax のように _ で始めると、marimo でセルどうしの名前がぶつからない(1-2)。色は最初のセルで決めた C0・C1・C_TRAIN・C_TEST を使う(1-1)。