Come usare
- Scegli prima la metrica. L’entropia necessita solo di P, mentre l’entropia incrociata, la divergenza KL e la divergenza JS richiedono sia P che Q.
- Incolla i valori separati da virgole, spazi, tabulazioni o nuove righe. Attiva la normalizzazione se stai inserendo conteggi o pesi non scalati.
- Leggi il valore principale accanto all'anteprima del vettore normalizzato in modo da poter vedere se zeri, squilibrio o normalizzazione hanno modificato l'interpretazione.
Incertezza discreta e mismatch distributivo
Usa l'entropia per descrivere l'incertezza all'interno di un vettore. Utilizza l'entropia incrociata, la divergenza KL o la divergenza JS quando devi confrontare le differenze tra una distribuzione e un'altra.
Ingressi
L’entropia incrociata, la divergenza KL e la divergenza JS richiedono sia P che Q.
Scegli una metrica, incolla P e facoltativamente Q, quindi esegui il calcolo.
Anteprima vettoriale normalizzata
| Indice | P usato | Q usato | Punto medio M |
|---|
Nessuna anteprima vettoriale normalizzata ancora.
Come leggere entropia e divergenza
L’entropia misura l’incertezza all’interno di una distribuzione. Se la massa di probabilità è distribuita in modo abbastanza uniforme, l’entropia aumenta. Se una categoria domina, l’entropia diminuisce.
Entropia vs entropia incrociata
L'entropia incrociata confronta due distribuzioni. Ti dice quanto sarebbe costoso codificare i risultati di P fingendo che il mondo segua Q. Se Q segue P da vicino, l’entropia incrociata rimane vicino all’entropia di P.
La divergenza KL è direzionale
La divergenza KL non è una distanza nel senso simmetrico usuale. KL(P||Q) e KL(Q||P) fai domande diverse perché la ponderazione deriva dalla distribuzione a sinistra.
Le probabilità zero contano
Se Q dà probabilità zero a un evento che appare ancora in P, l'entropia incrociata e la divergenza KL diventano infinite. Questo è il motivo per cui il livellamento o le piccole probabilità esplicite spesso sono importanti nei flussi di lavoro di modellazione pratica.
Domande frequenti
Qual è la differenza tra entropia ed entropia incrociata?
L'entropia misura l'incertezza all'interno di una distribuzione P. L'entropia incrociata misura quanti bit o nat sono necessari quando i dati seguono P ma vengono codificati con Q, quindi dipende da entrambe le distribuzioni.
Perché la divergenza KL non è simmetrica?
La divergenza KL pondera il disadattamento in base alla distribuzione di riferimento a sinistra. KL(P||Q) chiede quanto sia sorprendente Q quando i risultati seguono P, mentre KL(Q||P) pone la domanda inversa. Questi pesi sono solitamente diversi.
Cosa succede se Q attribuisce probabilità zero a un risultato che appare ancora in P?
L'entropia incrociata e la divergenza KL diventano infinite perché Q avrebbe bisogno di una lunghezza di codice impossibile per un evento che ha ancora massa positiva in P. Questa pagina mostra esplicitamente questo caso invece di nasconderlo.
L'URL di condivisione include i miei vettori?
No. L'URL di condivisione memorizza solo impostazioni leggere come metrica, base, normalizzazione e cifre decimali. P e Q rimangono nel tuo browser.
Relativo
Commenti (facoltativi)
Per ridurre il carico, i commenti vengono recuperati solo quando necessario.