نحوه استفاده
- ابتدا متریک را انتخاب کنید. آنتروپی فقط به P نیاز دارد، در حالی که آنتروپی متقابل، واگرایی KL و واگرایی JS به هر دو P و Q نیاز دارند.
- مقادیر جدا شده با کاما، فاصله، برگه یا خطوط جدید را جایگذاری کنید. در صورت وارد کردن تعداد یا وزنهای بدون مقیاس، نرمالسازی را روشن کنید.
- مقدار اصلی را در کنار پیشنمایش بردار نرمالشده بخوانید تا بتوانید ببینید که آیا صفر، عدم تعادل یا نرمالسازی تفسیر را تغییر داده است.
عدم قطعیت گسسته و عدم تطابق توزیع
از آنتروپی برای توصیف عدم قطعیت در یک بردار استفاده کنید. از آنتروپی متقاطع، واگرایی KL یا واگرایی JS زمانی که نیاز به مقایسه تفاوت یک توزیع با توزیع دیگر دارید، استفاده کنید.
ورودی ها
آنتروپی متقابل، واگرایی KL و واگرایی JS به هر دو P و Q نیاز دارند.
یک متریک انتخاب کنید، P و به صورت اختیاری Q را بچسبانید، سپس محاسبه را اجرا کنید.
پیش نمایش برداری عادی شده
| شاخص | P استفاده می شود | Q استفاده شده است | نقطه میانی M |
|---|
هنوز پیشنمایش برداری نرمالشده وجود ندارد.
نحوه خواندن آنتروپی و واگرایی
آنتروپی عدم قطعیت را در یک توزیع اندازه گیری می کند. اگر جرم احتمالی نسبتاً یکنواخت پخش شود، آنتروپی افزایش می یابد. اگر یک دسته غالب باشد، آنتروپی کاهش می یابد.
آنتروپی در مقابل آنتروپی متقابل
آنتروپی متقابل دو توزیع را با هم مقایسه می کند. به شما می گوید که رمزگذاری نتایج P در حالی که وانمود می کنید که جهان Q را دنبال می کند چقدر پرهزینه است. اگر Q از نزدیک P را دنبال کند، آنتروپی متقابل نزدیک به آنتروپی P باقی می ماند.
واگرایی KL جهت دار است
واگرایی KL یک فاصله به معنای متقارن معمولی نیست. KL(P||Q) و KL(Q||P) سوالات مختلفی بپرسید زیرا وزن گیری از توزیع سمت چپ حاصل می شود.
احتمالات صفر اهمیت دارد
اگر Q به رویدادی که هنوز در P ظاهر می شود احتمال صفر بدهد، آنتروپی متقاطع و واگرایی KL بی نهایت می شوند. به همین دلیل است که هموارسازی یا صریح احتمالات کوچک اغلب در جریان کار مدلسازی عملی اهمیت دارد.
سوالات متداول
تفاوت بین آنتروپی و آنتروپی متقابل چیست؟
آنتروپی عدم قطعیت را در یک توزیع P اندازه میگیرد. آنتروپی متقابل اندازهگیری میکند که وقتی دادهها از P پیروی میکنند، چند بیت یا nat مورد نیاز است، اما شما با Q رمزگذاری میکنید، بنابراین به هر دو توزیع بستگی دارد.
چرا واگرایی KL متقارن نیست؟
واگرایی KL عدم تطابق را با توزیع مرجع در سمت چپ وزن می کند. KL(P||Q) می پرسد که وقتی نتایج به دنبال P هستند، Q چقدر شگفت انگیز است، در حالی که KL(Q||P) سؤال معکوس را می پرسد. این وزن ها معمولاً متفاوت هستند.
چه اتفاقی می افتد اگر Q به نتیجه ای که هنوز در P ظاهر می شود احتمال صفر بدهد؟
آنتروپی متقاطع و واگرایی KL نامحدود میشوند زیرا Q برای رویدادی که جرم آن مثبت است، به طول کد غیرممکن نیاز دارد.
آیا URL اشتراک گذاری شامل بردارهای من می شود؟
خیر. URL اشتراکی فقط تنظیمات سبک وزن مانند متریک، پایه، عادی سازی و اعشار را ذخیره می کند. P و Q در مرورگر شما باقی می مانند.
مرتبط
نظرات (اختیاری)
برای کاهش بار، نظرات فقط در صورت نیاز واکشی می شوند.