如何使用
- 首先選擇指標。熵只需要P，而交叉熵、KL散度和JS散度都需要P和Q。
- 貼上以逗號、空格、製表符或換行符號分隔的值。如果您要輸入計數或未縮放的重量，請開啟標準化。
- 閱讀標準化向量預覽旁邊的主值，以便您可以了解零、不平衡或標準化是否改變了解釋。
離散不確定性與分佈失配
使用熵來描述一個向量內的不確定性。當您需要比較一種分佈與另一種分佈的差異時，請使用交叉熵、KL 散度或 JS 散度。
輸入
交叉熵、KL 散度和 JS 散度都需要 P 和 Q。
選擇一個指標，貼上 P 和（可選）Q，然後執行計算。
標準化向量預覽
| 索引 | 使用P | 使用Q | 中點M |
|---|
尚無標準化向量預覽。
如何解讀熵和散度
熵衡量一種分佈內的不確定性。如果機率質量分佈相當均勻，熵就會增加。如果某一類別占主導地位，熵就會下降。
熵與交叉熵
交叉熵比較兩個分佈。它告訴你，在假裝世界遵循 Q 的同時對 P 的結果進行編碼的成本有多大。如果 Q 緊密追蹤 P，則交叉熵將保持在 P 的熵附近。
KL 散度是有方向性的
KL 散度不是通常對稱意義上的距離。 KL(P||Q) 和 KL(Q||P) 提出不同的問題，因為權重來自左側的分佈。
零機率很重要
如果 Q 給出仍然出現在 P 中的事件的機率為零，則交叉熵和 KL 散度將變成無限大。這就是為什麼平滑或明確小機率在實際建模工作流程中通常很重要。
常見問題
熵和交叉熵有什麼差別？
熵衡量一種分佈 P 內的不確定性。交叉熵衡量當資料遵循 P 但使用 Q 進行編碼時需要多少位元或 nat，因此它取決於兩種分佈。
為什麼KL散度不對稱？
KL 散度透過左側的參考分佈對不匹配進行加權。 KL(P||Q) 詢問當結果遵循 P 時 Q 有多令人驚訝，而 KL(Q||P) 則提出相反的問題。這些重量通常是不同的。
如果 Q 給出仍然出現在 P 中的結果的機率為零，會發生什麼？
交叉熵和 KL 散度變得無窮大，因為 Q 對於 P 中仍具有正質量的事件需要不可能的代碼長度。本頁明確顯示該情況而不是隱藏它。
分享連結 是否包含我的向量？
不會。共用 URL 僅儲存輕量級設置，例如度量、基數、標準化和小數位。 P 和 Q 保留在你的瀏覽器中。
相關
評論（可選）
為了減少負載，僅在需要時才取得評論。