最低限おぼえる Polars
この本で主に使った Polars の操作は、次のとおりである。ここが手癖になれば、テーブルコンペで Python が原因で止まることはほぼ無くなる。
df = pl.read_csv(path) / pl.read_parquet(p) # 読む
train = train_raw.clone() # 作業用のコピー(生データは *_raw のまま残す)
df.shape / df.height / df.columns / df.schema # 形を見る
df.head(5) / df.describe() # 中身を見る
df.null_count() # 欠損を数える
df.select(cols) # 列を選ぶ
df.drop(cols) # 列を落とす
df.with_columns(expr.alias("name")) # 列を作る
df.filter(pl.col("x") > 3) # 行を絞る
df.sort("x", descending=True) # 並べ替える
pl.sum_horizontal([a, b]) # 横方向に合計する
pl.col("x").over("group") # グループ単位で計算する
pl.when(c).then(x).otherwise(y) # 条件分岐で値を作る
pl.col("x").qcut(4, labels=[...]) # ビンに切る
pl.col("c").cast(pl.Enum(levels)) # カテゴリの値をそろえる(3-2)
s.value_counts() / s.n_unique() # 値ごとの件数・種類の数
s.is_null() / s.equals(other) # 欠損か / 同じ列か
df.group_by("k").agg( # 集計する
pl.len().alias("n"),
pl.col("y").mean().alias("rate"),
)
pl.concat([a, b]) # 縦に結合する
df.hstack(other) # 横に並べる
df.join(other, on="id", how="left", # id で結合する(行の順を保つ)
maintain_order="left")
df.to_pandas() / df["x"].to_numpy() # sklearn に渡す
df.write_csv(path) / df.write_parquet(p) # 保存する加えて StratifiedKFold、LGBMClassifier.fit / predict_proba、roc_auc_score の3つ。合計 20 数個で提出まで到達できる。
グラフは matplotlib と seaborn で描く。この本の図は、主に次の操作の組み合わせである。
fig, ax = plt.subplots(figsize=(8, 4)) # 図(fig)と枠(ax)を作る
fig, axes = plt.subplots(2, 3, squeeze=False) # 枠を格子状に作る(axes.ravel() で 1 列に並べる)
ax.bar(x, h) / ax.barh(y, w) # 棒グラフ(縦・横)
ax.plot(x, y, "o-") / ax.step(x, y) # 点・折れ線・階段
ax.hist(x, bins=50, density=True) # ヒストグラム(面積 1 にそろえる)
ax.axhline(y) / ax.axvline(x) / ax.axvspan(a, b) # 基準の線・帯
ax.set_xscale("log") # 対数の軸
sns.histplot(df, x=c, hue=TARGET, multiple="stack") # 0/1 で塗り分けたヒストグラム
sns.boxplot(df, x=TARGET, y=c) # 箱ひげ図
sns.kdeplot(x, fill=True) # 密度の曲線(KDE)
sns.heatmap(table, annot=True) # ヒートマップ(相関行列など)
fig.tight_layout() # 枠どうしが重ならないように整える
fig # marimo ではセルの最後に置くと表示される名前は _fig・_ax のように _ で始めると、marimo でセルどうしの名前がぶつからない(1-2)。色は最初のセルで決めた C0・C1・C_TRAIN・C_TEST を使う(1-1)。