機械学習の評価指標

データの分割

機械学習では、データを役割に応じて3つに分けて使うことがある。

• Train（学習用）: モデルの学習に直接使う。
• Validation（検証用）: 学習中のモデルの性能を確認し、Early Stoppingやパラメータ調整などに使う。
• Test（評価用）: すべての調整が終わった後、初見のデータに対してどのくらい性能を発揮できるか、最後に確認するために使う。

例えば、70, 15, 15に分けたり、まず80と20（Test用）に分けて、その80をさらにTrain 80, Validation 20に分けたりする。

• Early Stopping
  • LightGBMなどでは、学習を繰り返すほど学習データに対する性能は向上しますが、学習しすぎると過学習が起こり、未知のデータに対する性能が低下することがある。
  • そこで、Validationデータに対する性能が改善しなくなったところで学習を止めることで、過学習を抑えながら、適切な学習状態でモデルを止めることができる。
• Testデータへの「カンニング」を防ぐ
  • もしTestデータを使って学習を止めるタイミングやパラメータを決めてしまうと、知らず知らずのうちにTestデータに都合のよいモデルを作ってしまう。
  • そのため、モデルの調整に使うValidationと、最後までできるだけ触れずに取っておくTestを分けておく。
• 未知のデータに対する性能を確認する
  • 時系列データでは、単純にランダムに分割するのではなく、時間の順序を保ってTrain/Validation/Testを分けることがある。
  • 例えば、TrainとTestの期間が隣接していると、特定の期間の傾向に適合したモデルになってしまい、その後の期間では性能が低下する可能性がある。
  • そこで、TrainとValidation、ValidationとTestの間に一定の期間を設けることで、より未来に近い条件でモデルの性能を確認する方法もある。

このように、ValidationやTestを適切に分けることで、学習に使っていない未知のデータに対してもモデルがどの程度通用するのかを確認できる。

• Validationは必ず独立したデータとして用意しなければならないわけではない。
• モデルの調整をおこなわず、学習用データとTestデータだけで構成する場合もある。
• また、Cross Validationを使う場合は、データを複数の組み合わせに分け、それぞれの検証用データを入れ替えながらモデルを評価できる。この場合、固定したValidationデータを別途用意する必要はない。
• 一方、モデルのパラメータ調整やEarly Stoppingなどをおこなう場合は、その判断に使うValidationデータと、最終評価に使うTestデータを分けておくことが重要。

モデルの調整中に評価指標を見る場合は、基本的にはValidationデータを用いる。

# 検証データで評価
y_pred_val = model.predict_proba(X_val)[:, 1]

# モデルの調整がすべて終わり最終的な性能を確認するときはTestデータで評価
y_pred_test = model.predict_proba(X_test)[:, 1]

# 学習データ（Train）についても評価指標を計算することはできる
y_pred_train = model.predict_proba(X_train)[:, 1]

ただし、学習データでの評価結果は、モデルが実際に学習したデータに対する性能。未知のデータに対する性能を見るValidationやTestとは意味が異なる。

Trainの評価結果を見てモデルをチューニングすることは通常ない。学習データに対して良い結果になるよう調整してしまうと、過学習を見逃す可能性があるため。

分類性能の評価

モデルが最終的に「1」か「0」かを予測した結果を評価する。実際の結果と予測結果を組み合わせると、2×2の混同行列として整理できる。対角線上のセルが多いほど、正しく分類できた件数が多い。

サンプル事例での結果は、合計5,662人のうち実際の購入者は1,718人（出現率30%）、非購入者は3,944人。この4セルのどこに注目するか。

TP (True Positive):  1053 件
TN (True Negative):  2680 件
FP (False Positive): 1264 件
FN (False Negative): 665 件

Accuracy

すべての予測対象のうち、正しく予測できた割合（正解率）。

Accuracy = (TP + TN) / (TP + TN + FP + FN)

Accuracyは数値の意味がわかりやすく、モデルの基本的な予測性能比較など有用な場面もある。

• だがビジネスにおいては正例の予測が重要なことが多い。
• 「買わない」と予測して実際に買わなかったことが予測できても、「買う」の予測ほどには利潤や事業成長に直結しにくいため。
• また予測対象はクラス不均衡なことも多い（自社の特定商品購入者は市場のごく一部など、正例と負例の出現率は偏りがち）。
• そんなときはPrecisionやRecallの出番。

Precision

正例と予測した対象のうち、実際に正例だった割合（適合率）。

Precision = TP / (TP + FP)

Recall

実際は正例の対象のうち、正しく正例と予測できた割合（再現率）。

Recall = TP / (TP + FN)

PrecisionとRecallのトレードオフ

2値分類モデルは基本的に、正例である確率（0.0〜1.0）を出力する。これを人間が判断しやすい二択のラベル（0/1）に振り分けてる。

しきい値（threshold）を0.5（一般的なデフォルト値）にするとは、すなわち、確率0.5以上は「1:購入する」と予測、確率0.5未満は「0:購入しない」と予測したものとみなす、という意味。なお0.5は「正例と予測する確率が半分以上」という直感的な（自然な）基準であり、常に最適なしきい値というわけではない。

しきい値を高くすると、かなり確信のある人だけを正例とするため、Precisionは高くなりやすい。そのぶん正例と予測する人数が減るので、Recallは低くなりやすい。

逆に、しきい値を低くすると、少しでも購入可能性があれば正例とするため、Recallは高くなりやすい。ただし実際には買わない人も多く含まれるため、Precisionは低くなりやすい。

• Precision：予測した正例をどれだけ確実に当てられるか
• Recall：実際の正例をどれだけ取りこぼさず見つけられるか

例えば、予定しているクーポン配布施策の予算が潤沢にあるなどの理由で、買う確率が0.3ぐらいの人もクーポン配布対象にしたいなどのビジネス判断が先にある、検討余地がある場合には、しきい値を0.5ではなく0.3にして評価するという手もある（詳細後述）。

つまり、しきい値を動かすことでもPrecisionとRecallの値は変わるため、「何のための予測なのか」「何を重視したいのか」が明確になってないと、モデルの評価、判断もしにくい。

F1-score

PrecisionとRecallの両方を考慮したい場合に。

F1 = 2 * (Precision * Recall) / (Precision + Recall)

F1 score = 1 / { (1/Precision + 1/Recall) / 2 }
         = 2 / { (1/Precision) + (1/Recall) }
         = 2 / { (Recall + Precision) / (Precision * Recall) }
         = 2 * Precision * Recall / (Precision + Recall)

MCC

「このモデルは、正例と負例を本当に区別できているのか？」を確認したいときに役立つ指標。

Precision, Recall, F1-scoreは主に正例に注目した指標。対してMCCは、混同行列の4セルすべてを使って、実際のクラスと予測クラスの一致関係を評価する指標（実際と予測の相関係数）。Matthews Correlation Coefficient

MCC = (TP × TN − FP × FN) / √{(TP + FP)(TP + FN)(TN + FP)(TN + FN)}

mcc = (tp * tn - fp * fn) / math.sqrt((tp + fp) * (tp + fn) * (tn + fp) * (tn + fn))
# 一気に計算する場合、モデルが全員を同じクラスに予測した時などに、分母が0になるケースがある

# 分子の計算: (TP * TN) - (FP * FN)
mcc_numerator = (tp * tn) - (fp * fn)
# 分母の計算: sqrt((tp+fp) * (tp+fn) * (tn+fp) * (tn+fn))
mcc_denominator = math.sqrt((tp + fp) * (tp + fn) * (tn + fp) * (tn + fn))
# 分母が0の場合はMCCを0とする（ライブラリ次第）
if mcc_denominator == 0:
    mcc = 0
else:
    mcc = mcc_numerator / mcc_denominator

print(f"MCC (Matthews Correlation Coefficient): {mcc:.3f}")

正例と負例の両方を考慮するため、クラス不均衡な場合にも、モデルの分類性能をシビアに評価しやすい（多数派のクラスで正答を稼いだ高Accuracyなモデルでも、MCCは高くなりにくい）。

Balanced Accuracy

クラス不均衡でも、正解率をシンプルかつ公平に評価したい場合に（均衡正解率）。

Balanced Accuracy = (Recall + Specificity) / 2

Specificity(特異度) : 実際は負例の対象のうち、正しく負例と予測できた割合（真陰性率） Specificity = TN / (TN + FP)

• つまり、正例についての正解率（Recall）と、負例についての正解率（Specificity）を、正例・負例の出現率に関係なく、正例と負例を同じ重みで評価している。
• クラス不均衡があるデータで「正例と負例を公平に評価したい」ときに便利。
• 正例と負例を同じ重みで評価したときの正解率です、と説明しやすいしわかりやすい。

Accuracy = ( TP + TN ) / Total
         = ( TP / Total ) + ( TN / Total )
         = { TP / (TP+FN) * (TP+FN) / Total } + { TN / (TN+FP) * (TN+FP) / Total }
         = (Recall * 正例出現率) + (Specificity * 負例出現率)

その他の指標

4セルの組み合わせ次第で、他にもいろんな指標が算出可能。似たものにも見えるが、分母の捉え方がちょっとずつ異なる。

MCC同様に実際のクラスと予測クラスの一致度を評価する指標。違いは、偶然による一致を考慮する点。実際と予測が一致したのは、モデルの実力なのか、それともたまたまなのか。たまたま当たったぶん（期待値）を全体から引いて、純粋な予測の重みを評価する。

クラスの出現率割合と予測割合から「偶然でもこれくらいは一致しそう」という一致率を考え、その分を差し引いて評価する。

• 実測の一致率： 実際に予測が当たった割合（つまりAccuracy）。
• 偶然の一致率： 事実もモデルも、お互いデタラメに（でも出現率通りに）答えたときに、偶然重なっちゃう確率。
• この2つを使って計算する。Kappa = (実際の一致率 − 偶然の一致率) / (1 − 偶然の一致率)

Cohen's Kappaのとる範囲は-1から1の間。

• 1: 完全な一致（予測が当たったのは全てモデルの実力）。
• 0: 偶然による一致と同程度（偶然当たってるだけ。目をつぶって選んでるのと変わらない）。
• 0未満：偶然よりも一致度が低い（偶然よりも当たってない。逆にすごい）。

ただし、クラスの偏りや予測割合によって値が影響を受ける場合があり、機械学習の分類性能評価では、MCCやBalanced Accuracy、Precision/Recall系の指標のほうが解釈しやすいことが多い。

# 1. 数値をセット
total = tp + tn + fp + fn

# 2. po (実際の正解率)
po = (tp + tn) / total

# 3. pe (偶然当たっちゃう確率)
# 「モデルの正例予測数 × 実際の正例数」 ＋ 「モデルの負例予測数 × 実際の負例数」 を Totalの2乗で割る
pe = ((tp + fp) * (tp + fn) + (tn + fn) * (tn + fp)) / (total ** 2)

# 4. Kappaの計算
kappa = (po - pe) / (1 - pe)

# これでもOK
# from sklearn.metrics import cohen_kappa_score
# kappa = cohen_kappa_score(y_val, y_class_pred)

print(f"Cohen's Kappa: {kappa:.3f}")

ここまでの指標をどう使い分けるか

ただし、これらの指標の多くは、どのしきい値で0と1を分けるかによって値が変わる。そのため「何のために予測するのか」「PrecisionとRecallのどちらを重視するのか」を決めずに、数値だけを比較してもモデルの良し悪しは判断しにくい。

• 「良いモデルかどうか」は指標を1つ見れば決まるわけではない。
• 何を重視するかによって、適切な評価指標も変わる。

しきい値によらない識別性能

• Accuracy, Precision, Recall, F1などは、ある1つのしきい値で0/1に分類した結果を評価する指標である。
• しかし分類モデルは本来、各対象に「正例らしさ」を表すスコアを出力している。
• そこで、しきい値を固定せずに動かしながら、正例と負例をどれだけうまく順位付けできているか（識別できているか）を評価する方法がROC曲線やPR曲線である。

ROC曲線

ROC曲線は、分類のしきい値を変化させたときの、

• TPR（True Positive Rate）= Recall
• FPR（False Positive Rate）= FP / (TN + FP)

の関係を表した曲線。Receiver Operating Characteristic Curve）

これを2次元の平面に表現する。

• 縦軸 TPR: 実際は正例の対象のうち、正しく正例と予測できた割合（=Recall）
• 横軸 FPR: 実際は負例の対象のうち、誤って正例と予測した割合

顧客 購入確率
A 0.95（実際：1）
B 0.88（実際：1）
C 0.75（実際：0）※間違い、空振り
D 0.60（実際：1）
… …（以下、確率が低い順に続く。データ10人分での例）

1. 予測確率が高い順にデータを並べる。
   • モデルが「この人は買いそう」と判定した確率が高い順に上から下へ並び替える。
2. しきい値を上から下に「スライド」させる。
   • 並び替えたデータのすき間に、上から順番に「しきい値の線」を引いていく。
   1. 最初に、一番上に線を引く（しきい値1.0）
      • 誰も「1」とは予測しない、超ドケチな設定。
      • TPR（真陽性率：見落とさず当てた割合）＝0 （誰も当ててない）
      • FPR（偽陽性率：間違えて空振りした割合）＝0 （誰も予測してないから空振りもゼロ） グラフの座標は (0, 0) からスタート！
   2. 1番目のAの下に線を引く（しきい値0.90）
      • 「Aだけを1、残りを全員0」と予測する設定。
      • Aは実際に1で、見落とさずに当てられたから、TPR（縦軸）が上にピョコッと1歩上がる。
      • 空振り（実際は0なのに1と予測する）はしていないから、FPR（横軸）は動かない。
   3. 3番目のCの下に線を引く（しきい値0.70）
      • 「A、B、Cを1、残りを0」と予測する設定。
      • Cは実際には0（買わなかった）だから、モデルの予測はハズレ（空振り）。
      • このときは、FPR（横軸）が右にピョコッと1歩進む。（縦軸は動かない）
3. 最後まで繰り返して線を結ぶ
   • これを一番下の「全員を1と予測する超ゆるゆる設定（しきい値0.0）」まで繰り返すと、最終的にグラフの右上 (1, 1) にゴールする。
   • この「本物が来たら上に1歩、空振りなら右に1歩」と動いていった足跡を繋いだのがROC曲線

• 優秀なモデルの場合
  • 確率が高い順に並べ替えたとき、上のほうに「本物の1」がズラッと並ぶ。
  • ということは、しきい値を下げていくとき、最初は「上にピョコピョコピョコ！」と連続で上がって、本物を全部回収しきってから、
  • 最後に「右にトコトコ…」と進んでゴールに向かう。
  • 結果として、グラフは左上に大きく膨らんだ、理想的な曲線（AUCが1に近づく）になる。
• 完全にランダム（でたらめ）なモデルの場合：
  • 確率順に並べても、「1」と「0」がぐちゃぐちゃに混ざっている。
  • しきい値を下げていくと、「上、右、上、右、右、上…」と交互に進むことになるから、
  • グラフはおおむね左下から右上に向かって斜め45度の直線（AUC＝0.5）になっちゃう。

• 人間がどこに境界線を引くべきか（実務上の都合でしきい値をいくつに設定するか）を決める前に、モデルが1と0をきれいに並び替える能力があるか、すなわち「1と0の識別能力」を視覚化したもの
• 縦軸は正例だけでの正解率、横軸は負例だけでの間違い率と、正例と負例を独立させた集計値をみている。したがって、目的変数1/0の比率（購入者の割合）が変わっても、ROC曲線の形状には影響しにくい。

ROC-AUC

ROC曲線を描いて、その下の面積を全部足し算（積分）した値。AUC（Area Under the Curve）

過去に提案された教科書記載などから、AUCが 0.7以上なら実用的、0.8を超えたら優秀、といった目安はあるものの、機械的に適用するのは避けるべし。

なぜなら、どの程度の識別能力が必要なのかは、当然ながら用途やデータ、誤分類による損失によって変わるため。

ラテ購入などのように人間の気まぐれな行動に左右されやすい予測が困難な場面もあれば、品質管理や命に関わる場面などもある。

ROC-AUCの強みと注意点

• 正例と負例を独立させて等しく扱っているぶん、モデルの基本的な予測性能（純粋な識別能力）が理解しやすい。
• 正例・負例それぞれの割合ではなく、両クラスをどれだけ区別できるかを見るため、クラス比率そのものの影響を受けにくい。

だがビジネス場面においては、ROC-AUCだけでは判断材料不足な場合もある。

そこで、

• 確実に買いそうな人だけに絞ってコストを抑えたい施策もあることを考慮したい。
• つまり、正例に注視したい。

となると、Recallは据え置きつつ、正例を正確に予測したい→Precisionも重視したい、との観点が台頭してくる。

PR曲線

PR曲線（Precision-Recall Curve）は、分類のしきい値を変化させたときの、

• Precision: 正例と予測した対象のうち、実際に正例だった割合（縦軸）
• Recall: 実際は正例の対象のうち、正しく正例と予測できた割合（横軸）

の関係を表した曲線。これを2次元の平面に表現する。上にいくほど、（買う予測はなるべく外さないことで）ムダ打ちが少なく、右にいくほど取りこぼしが少ない。

• 正例を対象とした施策を考える場合に、PrecisionとRecallのバランスを直接確認できる。
• 特にクラス不均衡が大きい分類問題では有用。

PR-AUC

ROC曲線を描いて、その下の面積を全部足し算（積分）した値。正例を見つける能力に焦点を当てた識別性能を表す指標。

※効率よく＝正例を多く見つけながら、誤検出をどれだけ抑えられるか

ROC-AUCとPR-AUCの使い分け

どちらが優れているというものではなく、注目するポイントが異なる。

サンプル事例のように「明日ラテを買う可能性が高い人を見つけ、その人たちに何らかの施策をおこなう」という用途なら、PrecisionとRecallのバランスは特に重要。そのため、ROC-AUCだけで「このモデルは良い」と判断するのではなく、PR曲線やPR-AUCも確認する必要がある。

さらに実際の施策では、

• 1人にアプローチするコスト
• 1人が購入した場合の利益
• 取りこぼしによる機会損失
• どの程度の人数まで施策対象にできるか

なども考慮して、最終的なしきい値を決めることになる。

評価指標は、モデルに「何点だったか」を付けるためだけのものではない。「このモデルを実際にどう使うのか」を考え、その目的に合った指標を選ぶことが重要。