AIって何？対談小説で知るAI

そら

文字の大きさ

大中小

3 / 4

評価指標（正解率・適合率・再現率・F₁スコア）

しおりを挟む

夜の学校。コンピュータ室に灯る蛍光灯が、白い机とモニタに冷たい光を落としている。４人は大きなプロジェクタ画面に映し出された「がん診断モデル」の結果を前にしていた。

迅（じん）は息を切らしながら声を上げた。
「モデルの正解率は九十五パーセントだ！すごいじゃないか！」

大地（だいち）は画面の下に小さく表示されたクラスごとの件数を指さし、静かに言った。
「でも待てよ。陽性サンプルは全体の五パーセントしかない。不均衡データだと、正解率だけ見て安心するのは危険だぞ」

玲（れい）はモニタに映る混同行列（Confusion Matrix）をそっと覗き込み、詩的に呟いた。
「小さなクラスが、まるで夜闇に埋もれる星のように見えなくなっているわ…。真実を見失ってはいけない」

朔（さく）は腕を組み、冷徹に切り込む。
「Accuracy（正解率）は (TP＋TN) ／全データ。確かに九十五％かもしれん。しかし陽性が少ないなら、全てを“陰性”と予測しても95％のAccuracyを得られる。そんなモデルに価値はない」

正解率（Accuracy） = (TP + TN) ÷ 全データ数

不均衡データでは、小さいクラス（陽性など）が見逃されやすく、Accuracyが高くても実力を偽る罠がある。

迅は困惑した顔で、「じゃあ、どうやってモデルの“本当の強さ”を測るんだ？」と問いかける。

大地はキーボードを叩きながら答えた。
「まずは適合率（Precision）を見よう。予測を“陽性”とした中で、本当に陽性だった割合だ。式は TP ÷ (TP + FP) 。偽陽性（FP）を減らすほど、Precisionは高くなる」

玲は優しく付け加える。
「Precision は、“予測の信頼度”を示す。FPを少なくして、予測陽性の声だけを高く響かせるのね」

朔が頷き、「だがPrecisionだけ高くてもダメだ。次は再現率（Recall）を見る。実際の陽性のうち、モデルが何件正しく捕まえたか。TP ÷ (TP + FN) だ。偽陰性（FN）を減らさないと、見逃しが多くて困る」

適合率（Precision） = TP ÷ (TP + FP)

再現率（Recall） = TP ÷ (TP + FN)

迅は手を叩いた。
「なるほど！Precision は“予測が当たる率”、Recall は“真実をどれだけ拾うか”なんだね」

大地が画面を切り替え、二つのグラフを並べて示す。
「しかし、Precision と Recall はトレードオフだ。Threshold（しきい値）を上げれば FPが減りPrecisionは上がるが、TPも減ってRecallは下がる。逆もまた然り」

玲は二つの波紋が交差する様子を手で描き、詩的に語る。
「二つの声が調和してこそ、本当の melody が生まれる…Precision と Recall のバランス、それが F₁スコア」

F₁スコア = 2 × (Precision × Recall) ÷ (Precision + Recall)

Precision と Recall の調和平均（ハーモニック平均）で、片方だけ高くても評価されない。

朔は冷ややかに、「式は 2×(P×R)/(P＋R)。分母に和、分子に積の２倍。ハーモニックに響く…とな？」とそっけなく声にするが、その眼差しは真剣だった。

夕闇が深まり、コンピュータ室の蛍光灯がわずかにチカチカと瞬く。迅は決意を込めて言った。
「なら、このがん診断モデルを F₁スコアで最適化しよう！陽性を見逃さず、誤診も減らす。両方のバランスを取るんだ！」

大地がコマンドを入力し、モデルの threshold を調整するスクリプトを走らせる。
「しきい値を少し下げて、Recallを上げつつPrecisionを維持…お、F₁が0.78から0.83に上がったぞ」

玲は画面を見つめながら微笑んだ。
「隙なしの盾ができたわ…Precision と Recall が寄り添って歌っているみたい」

朔は頷き、「結果が全てだ。数値で示されたこの調和こそ、モデルの真価だな」とだけ呟いた。

用語集:

TP (True Positive): 実際に陽性で、モデルも陽性と予測した件数
FP (False Positive): 実際は陰性だが、モデルが陽性と誤予測した件数
FN (False Negative): 実際は陽性だが、モデルが陰性と誤予測した件数
TN (True Negative): 実際に陰性で、モデルも陰性と予測した件数