如何使用
- 如果每行有一個評級項目，請選擇配對標籤；如果矩陣已匯總，請選擇列聯表。
- 執行計算器並將觀察到的一致性與類別邊緣的預期一致性進行比較。
- 當某一類別占主導地位時，請謹慎解釋 kappa，因為高百分比的一致性仍然可以與只有少量一致性的情況共存。
2 位評估者不可能達成一致
當 2 個人、系統或編碼通道對相同項目進行分類時，請使用此頁面。如果你的主要問題是模型閾值，請改用 ROC AUC 或混淆矩陣。
輸入
貼上原始評分或已計算的矩陣。計數保留在你的瀏覽器中，不包含在共用 URL 中。
執行計算器將觀察到的一致性與機會一致性進行比較。
協議矩陣
類別總計
比較每個類別的行邊緣、列邊緣和對角線一致性計數。這有助於解釋為什麼即使原始協議看起來相似，kappa 也能移動。
| 類別 | 評分者 A 總計 | 評估者 B 總計 | 對角線協議 |
|---|
如何讀卡帕
一致性百分比表示評分者匹配的頻率。 Cohen 的 kappa 詢問在僅從邊緣減去您期望的一致性後，該匹配還剩下多少。
為什麼高度一致仍然意味著適度的 kappa
如果一個類別非常常見，那麼評估者通常可以透過一起歸入該類別來達成一致。在這種情況下，預期一致性會變得很大，因此即使原始一致性感覺很高，kappa 也可能會保持適度。
協議分析與分類器評估不同
使用 混淆矩陣 當一個軸是模型預測，另一個軸是真實值。當雙方都是評估者並且主要問題是不可能達成一致時，請使用此頁面。
常見問題
為什麼僅百分比同意還不夠？
一致百分比將每項協議視為同等訊息，即使評級者經常因為某一類別占主導地位而偶然達成一致。科恩的 kappa 在報告超出偶然性的一致性之前減去了偶然性一致性。
為什麼即使一致性看起來很高，kappa 仍能維持在較低水準？
當某一類別比其他類別更為常見時，預期的偶然一致性就會變大。在這種情況下，觀察到的一致性可能看起來很高，而 kappa 保持適度，因為大部分的一致性是預期來自邊緣。
這與混淆矩陣有何不同？
混淆矩陣通常用於針對真實情況的模型預測。 Cohen 的 kappa 是 2 個評估者之間的一致性分析，其中主要問題是在考慮機會後仍然存在多少一致性。
此頁麵包含加權 kappa 嗎？
不可以。第一個版本僅限於名目類別的未加權 Cohen kappa 和 2 個評分者。
相關
評論（可選）
為了減少負載，僅在需要時才取得評論。