Come usare
- Scegli le etichette accoppiate se hai un elemento valutato per riga o la tabella di contingenza se la matrice è già riepilogata.
- Eseguire il calcolatore e confrontare l'accordo osservato con l'accordo atteso dai marginali di categoria.
- Interpretare kappa con cautela quando domina una categoria, perché un'elevata percentuale di accordo può ancora coesistere con un accordo solo modesto al di là del caso.
Accordo oltre ogni possibilità per 2 valutatori
Utilizza questa pagina quando 2 persone, sistemi o passaggi di codifica classificano gli stessi elementi. Se la tua domanda principale riguarda la soglia del modello, utilizza invece l'AUC ROC o la matrice di confusione.
Ingressi
Incolla le valutazioni grezze o la matrice già conteggiata. I conteggi rimangono nel browser e non sono inclusi nell'URL di condivisione.
Esegui il calcolatore per confrontare l'accordo osservato con l'accordo casuale.
Matrice degli accordi
Totali di categoria
Confronta il conteggio dei margini di riga, dei margini di colonna e degli accordi diagonali di ciascuna categoria. Ciò aiuta a spiegare perché kappa può muoversi anche quando l'accordo grezzo sembra simile.
| Categoria | Valutatore Un totale | Valutatore B totale | Accordo diagonale |
|---|
Come leggere kappa
L'accordo percentuale indica la frequenza con cui i valutatori corrispondevano. Il kappa di Cohen chiede quanto di quella corrispondenza rimane dopo aver sottratto l'accordo che ci si aspetterebbe dai soli margini.
Perché un accordo elevato può ancora significare un kappa modesto
Se una categoria è molto comune, i valutatori spesso possono essere d'accordo semplicemente rientrando insieme in quella categoria. In questo contesto l’accordo atteso diventa ampio, quindi kappa può rimanere modesto anche quando l’accordo grezzo sembra elevato.
L'analisi dell'accordo non è la stessa cosa della valutazione del classificatore
Utilizzare matrice di confusione quando un asse è la previsione del modello e l'altro è la verità. Utilizza questa pagina quando entrambe le parti sono valutatori e la questione principale è un accordo oltre ogni possibilità.
Domande frequenti
Perché l’accordo percentuale da solo non è sufficiente?
L'accordo percentuale tratta ogni accordo come ugualmente informativo, anche quando i valutatori sarebbero spesso d'accordo per caso perché prevale una categoria. Il kappa di Cohen sottrae quell'accordo casuale prima di riportare un accordo al di là del caso.
Perché il kappa può rimanere basso anche quando l'accordo sembra alto?
Quando una categoria è molto più comune delle altre, l’accordo atteso per caso diventa ampio. In quella situazione l'accordo osservato può sembrare elevato mentre kappa rimane modesto perché gran parte dell'accordo era previsto dai marginali.
In cosa differisce da una matrice di confusione?
Una matrice di confusione viene solitamente utilizzata per previsioni del modello contrarie alla verità. Il kappa di Cohen è un'analisi dell'accordo tra 2 valutatori, in cui la domanda principale è quanto accordo rimane dopo aver tenuto conto del caso.
Questa pagina include il kappa ponderato?
No. Questa prima versione è limitata al kappa di Cohen non ponderato solo per le categorie nominali e per 2 valutatori.
Relativo
Commenti (facoltativi)
Per ridurre il carico, i commenti vengono recuperati solo quando necessario.