使い方
- 先に指標を選びます。Entropy は P だけを使い、cross-entropy、KL divergence、JS divergence は P と Q の両方を使います。
- カンマ、空白、タブ、改行区切りで値を貼り付けます。件数や重みを入れるなら正規化をオンにします。
- 主結果と正規化後ベクトルのプレビューを並べて見て、ゼロ確率、偏り、正規化の影響を確認します。
Wave 5 ja 展開
離散分布の不確かさと分布ずれ
1 つのベクトルの不確かさを見るなら entropy、2 つの分布のずれを比べるなら cross-entropy、KL divergence、JS divergence を使います。
入力
Cross-Entropy、KL Divergence、JS Divergence では P と Q の両方が必要です。
指標を選び、P と必要に応じて Q を貼り付けて計算します。
正規化後ベクトルのプレビュー
| 番号 | 使用した P | 使用した Q | 中点 M |
|---|
まだ正規化後ベクトルのプレビューはありません。
エントロピーとダイバージェンスの読み方
エントロピーは 1 つの分布の不確かさを表します。確率質量が広く分散していれば上がり、少数カテゴリへ集中していれば下がります。
エントロピーとクロスエントロピー
クロスエントロピーは 2 つの分布を比べます。P に従うデータを、Q に従うものとして符号化したときのコストを表し、Q が P に近いほど P のエントロピーに近づきます。
KL ダイバージェンスには向きがあります
KL(P||Q) と KL(Q||P) は別の問いです。左側の分布が重み付けの基準になるため、通常は同じ値になりません。
ゼロ確率は重要です
P に質量が残る項目で Q が 0 を取ると、cross-entropy と KL divergence は無限大になります。実務では smoothing や極小確率の扱いが重要になる理由です。
よくある質問
エントロピーとクロスエントロピーはどう違いますか？
エントロピーは 1 つの分布 P の中にある不確かさを測ります。クロスエントロピーは、実際には P に従うデータを Q で符号化したときに必要なビット数や nat 数を表すため、P と Q の両方に依存します。
なぜ KL ダイバージェンスは対称ではないのですか？
KL ダイバージェンスは左側の分布を基準に重み付けします。KL(P||Q) は P に従うときに Q がどれだけ意外かを見ており、KL(Q||P) とは別の問いになります。
P には質量があるのに Q が 0 を取るとどうなりますか？
その項目では Q による符号化長が実質的に無限大になるため、クロスエントロピーと KL ダイバージェンスは無限大になります。このページではその状態を明示して表示します。
共有 URL にベクトル値は含まれますか？
含まれません。共有 URL には metric、base、正規化、桁数などの軽い設定だけを保存し、P と Q はブラウザ内に残します。
関連
コメント（任意）
読み込み負荷を下げるため、コメントは必要なときだけ読み込みます。