코헨의 카파 계산기 | 평가자간 합의

사용방법

한 줄에 하나의 평가 항목이 있는 경우 쌍 레이블을 선택하고 매트릭스가 이미 요약된 경우 분할표를 선택합니다.
계산기를 실행하고 관찰된 일치와 주변 범주의 예상 일치를 비교합니다.
하나의 범주가 지배적인 경우 카파를 주의해서 해석하십시오. 왜냐하면 높은 일치율은 여전히 우연을 넘어 중간 정도의 일치와 공존할 수 있기 때문입니다.

2인, 시스템, 코딩 패스가 동일한 항목을 분류하는 경우 이 페이지를 사용하세요. 주요 질문이 모델 임계값인 경우 대신 ROC AUC 또는 혼동 행렬을 사용하십시오.

원시 등급 또는 이미 계산된 행렬를 붙여넣습니다. 개수는 브라우저에 유지되며 공유 URL에 포함되지 않습니다.

평가자 A, 평가자 B 쌍

계산기를 실행하여 관찰된 일치와 우연 일치를 비교하세요.

각 범주의 행 주변, 열 주변 및 대각선 일치 개수를 비교합니다. 이는 원시 일치가 유사해 보이는 경우에도 카파가 움직일 수 있는 이유를 설명하는 데 도움이 됩니다.

카테고리	평가자 A 합계	평가자 B 합계	대각선 합의

일치율은 평가자가 얼마나 자주 일치하는지를 나타냅니다. Cohen의 카파는 한계값에서만 기대할 수 있는 합치도를 뺀 후 남은 일치값이 얼마나 되는지 묻습니다.

하나의 범주가 매우 일반적인 경우 평가자는 해당 범주에 함께 속한다는 것만으로도 종종 동의할 수 있습니다. 그러한 설정에서는 기대되는 동의가 커지므로 원시 동의가 높게 느껴질 때에도 카파는 적당한 수준을 유지할 수 있습니다.

사용 혼동 행렬 한 축은 모델 예측이고 다른 축은 진실인 경우입니다. 양쪽이 평가자이고 주요 질문이 우연을 초월하는 합의인 경우 이 페이지를 사용하십시오.

왜 백분율 합의만으로는 충분하지 않습니까?

백분율 동의는 한 범주가 지배적이기 때문에 평가자가 우연히 동의하는 경우에도 모든 동의를 동등하게 유익한 것으로 간주합니다. Cohen의 카파는 우연을 넘어 일치를 보고하기 전에 우연 일치를 뺍니다.

합의가 높아 보이는데도 카파가 낮게 유지될 수 있는 이유는 무엇입니까?

한 범주가 다른 범주보다 훨씬 더 일반적이면 우연히 예상되는 합의가 커집니다. 이러한 상황에서는 관찰된 일치도가 높게 보일 수 있지만 카파는 한계값에서 일치할 것으로 예상되었기 때문에 보통 수준을 유지합니다.

이것이 혼동 행렬과 어떻게 다릅니까?

혼동 행렬은 일반적으로 진실에 대한 모델 예측에 사용됩니다. Cohen의 카파는 2명의 평가자 간의 합의 분석으로, 여기서 주요 질문은 우연을 고려한 후 얼마나 많은 합의가 남아 있는지입니다.

이 페이지에 가중치 적용 카파가 포함되어 있나요?

아니요. 이 첫 번째 릴리스는 명목 범주에 대한 비가중 Cohen의 카파와 2명의 평가자로만 제한됩니다.

부하를 줄이기 위해 필요할 때만 주석을 가져옵니다.