코헨의 카파 계산기 | 평가자간 합의

사용방법

두 사람, 시스템, 코딩 절차가 동일한 항목을 분류하는 경우 이 페이지를 사용하세요. 주요 질문이 모델 임계값이라면 ROC AUC 또는 혼동 행렬을 사용하세요.

원시 등급 또는 이미 계산된 행렬을 붙여넣습니다. 개수는 브라우저에 유지되며 공유 URL에 포함되지 않습니다.

평가자 A, 평가자 B 쌍

계산기를 실행하여 관찰된 일치와 우연 일치를 비교하세요.

각 범주의 행 주변, 열 주변 및 대각선 일치 개수를 비교합니다. 이는 원시 일치가 유사해 보이는 경우에도 카파가 움직일 수 있는 이유를 설명하는 데 도움이 됩니다.

카테고리	평가자 A 합계	평가자 B 합계	대각선 합의

일치율은 평가자가 얼마나 자주 일치하는지를 나타냅니다. Cohen의 카파는 한계값에서만 기대할 수 있는 합치도를 뺀 후 남은 일치값이 얼마나 되는지 묻습니다.

하나의 범주가 매우 일반적인 경우 평가자는 해당 범주에 함께 속한다는 것만으로도 종종 동의할 수 있습니다. 그러한 설정에서는 기대되는 동의가 커지므로 원시 동의가 높게 느껴질 때에도 카파는 적당한 수준을 유지할 수 있습니다.

한 축이 모델 예측이고 다른 축이 실제값이면 혼동 행렬을 사용하세요. 양쪽이 평가자이고 우연을 넘는 합의가 핵심이라면 이 페이지를 사용하세요.

왜 단순 일치율만으로는 충분하지 않나요?

단순 일치율은 한 범주가 지배적이어서 평가자가 우연히 같게 분류한 경우도 모두 같은 일치로 봅니다. 코헨의 카파는 우연히 기대되는 일치를 뺀 뒤 남은 일치도를 보여 줍니다.

합의가 높아 보이는데도 카파가 낮게 유지될 수 있는 이유는 무엇입니까?

한 범주가 다른 범주보다 훨씬 더 일반적이면 우연히 예상되는 합의가 커집니다. 이러한 상황에서는 관찰된 일치도가 높게 보일 수 있지만 카파는 한계값에서 일치할 것으로 예상되었기 때문에 보통 수준을 유지합니다.

이것이 혼동 행렬과 어떻게 다릅니까?

혼동 행렬은 보통 실제값과 모델 예측을 비교할 때 사용합니다. 코헨의 카파는 두 평가자의 일치도를 분석하며, 우연을 고려한 뒤 얼마나 많은 일치가 남는지가 핵심입니다.

이 페이지에 가중 카파가 포함되어 있나요?

아니요. 이 버전은 두 평가자의 명목 범주에 대한 비가중 코헨의 카파만 지원합니다.

부하를 줄이기 위해 필요할 때만 주석을 가져옵니다.