نحوه استفاده
- اگر یک آیتم رتبهبندی شده در هر خط دارید، برچسبهای جفتی را انتخاب کنید، یا اگر ماتریس قبلاً خلاصه شده است، جدول احتمالی را انتخاب کنید.
- ماشین حساب را اجرا کنید و توافق مشاهده شده را با توافق مورد انتظار از حاشیه های دسته مقایسه کنید.
- کاپا را با احتیاط تفسیر کنید زمانی که یک دسته غالب است، زیرا درصد توافق بالا هنوز هم می تواند تنها با توافق اندک فراتر از شانس وجود داشته باشد.
توافق فراتر از شانس برای 2 ارزیاب
از این صفحه زمانی استفاده کنید که 2 نفر، سیستم یا مجوزهای کدگذاری موارد مشابهی را طبقه بندی می کنند. اگر سوال اصلی شما آستانه مدل است، به جای آن از ROC AUC یا ماتریس سردرگمی استفاده کنید.
ورودی ها
رتبهبندیهای خام یا ماتریس از قبل شمارش شده را جایگذاری کنید. تعداد در مرورگر شما باقی می ماند و در URL اشتراک گذاری گنجانده نمی شود.
ماشین حساب را اجرا کنید تا توافق مشاهده شده را با توافق شانس مقایسه کنید.
ماتریس توافق
مجموع دسته ها
تعداد ردیف های حاشیه، ستون حاشیه و مورب هر دسته را مقایسه کنید. این به توضیح اینکه چرا کاپا می تواند حرکت کند حتی زمانی که توافق خام مشابه به نظر می رسد کمک می کند.
| دسته بندی | رتبه بندی کل | رتبه B کل | توافق مورب |
|---|
نحوه خواندن کاپا
درصد توافق میگوید که رتبهدهندهها چقدر با هم مطابقت دارند. کاپا کوهن می پرسد پس از کم کردن توافقی که تنها از حاشیه ها انتظار دارید، چه مقدار از آن مسابقه باقی می ماند.
چرا توافق بالا هنوز هم می تواند به معنای کاپا متوسط باشد
اگر یک دسته بسیار رایج باشد، ارزیابها میتوانند اغلب با قرار گرفتن در آن دسته با هم به توافق برسند. در آن شرایط، توافق مورد انتظار بزرگ میشود، بنابراین کاپا ممکن است حتی زمانی که توافق خام بالا باشد، کم باقی بماند.
تجزیه و تحلیل توافق با ارزیابی طبقه بندی کننده یکسان نیست
استفاده کنید ماتریس سردرگمی زمانی که یک محور پیش بینی مدل و دیگری حقیقت است. از این صفحه زمانی استفاده کنید که هر دو طرف امتیاز دهندگان هستند و سوال اصلی توافق فراتر از شانس است.
سوالات متداول
چرا درصد توافق به تنهایی کافی نیست؟
توافق درصد، هر توافقی را به همان اندازه آموزنده تلقی می کند، حتی زمانی که ارزیاب ها اغلب به طور تصادفی موافقت می کنند زیرا یک دسته بر آن غالب است. کاپا کوهن آن توافق شانس را قبل از گزارش توافق فراتر از شانس کم می کند.
چرا کاپا می تواند پایین بماند حتی زمانی که توافق بالا به نظر می رسد؟
هنگامی که یک دسته بسیار رایج تر از بقیه باشد، توافق مورد انتظار به طور تصادفی بزرگ می شود. در آن شرایط، توافق مشاهده شده ممکن است بالا به نظر برسد در حالی که کاپا در حد متوسط باقی میماند، زیرا بیشتر توافق از طرف حاشیهها انتظار میرفت.
این چه تفاوتی با ماتریس سردرگمی دارد؟
ماتریس سردرگمی معمولاً برای پیشبینی مدل در برابر حقیقت استفاده میشود. کاپا کوهن یک تجزیه و تحلیل توافقی بین 2 ارزیاب است، که در آن سوال اصلی این است که پس از محاسبه شانس چقدر توافق باقی می ماند.
آیا این صفحه شامل کاپا وزنی است؟
خیر. این نسخه اول فقط برای دستههای اسمی و 2 رتبهدهنده محدود به کاپا بدون وزن کوهن است.
مرتبط
نظرات (اختیاری)
برای کاهش بار، نظرات فقط در صورت نیاز واکشی می شوند.