F1-score

F1-score : معیاری جامع برای ارزیابی طبقه‌بندی

F1-score یک معیار ارزیابی مهم در یادگیری ماشین و به ویژه در مسائل طبقه‌بندی است. این معیار، تعادلی بین دو معیار مهم دیگر به نام‌های دقت (Precision) و بازخوانی (Recall) برقرار می‌کند و به همین دلیل، در مواردی که کلاس‌ها نامتعادل هستند (یعنی تعداد نمونه‌های یک کلاس بسیار بیشتر از کلاس دیگر است) بسیار مفید است. در این مقاله، به بررسی دقیق F1-score، نحوه محاسبه آن، تفسیر نتایج و کاربردهای آن می‌پردازیم.

درک مفاهیم پایه

قبل از پرداختن به F1-score، لازم است مفاهیم پایه مرتبط با ارزیابی طبقه‌بندی را درک کنیم. این مفاهیم عبارتند از:

**مثبت واقعی (True Positive - TP):** تعداد نمونه‌هایی که به درستی به عنوان مثبت پیش‌بینی شده‌اند.
**منفی واقعی (True Negative - TN):** تعداد نمونه‌هایی که به درستی به عنوان منفی پیش‌بینی شده‌اند.
**مثبت کاذب (False Positive - FP):** تعداد نمونه‌هایی که به اشتباه به عنوان مثبت پیش‌بینی شده‌اند (خطای نوع اول).
**منفی کاذب (False Negative - FN):** تعداد نمونه‌هایی که به اشتباه به عنوان منفی پیش‌بینی شده‌اند (خطای نوع دوم).

این چهار مقدار، اساس ماتریس درهم‌ریختگی (Confusion Matrix) را تشکیل می‌دهند که یک ابزار بصری برای ارزیابی عملکرد یک مدل طبقه‌بندی است.

ماتریس درهم‌ریختگی به شکل زیر نمایش داده می‌شود:

ماتریس درهم‌ریختگی
پیش‌بینی شده مثبت	پیش‌بینی شده منفی
واقعی مثبت	TP	FP
واقعی منفی	FN	TN

دقت (Precision)

دقت، سهم نمونه‌های مثبت پیش‌بینی شده که واقعاً مثبت هستند را نشان می‌دهد. به عبارت دیگر، دقت به ما می‌گوید که از بین تمام نمونه‌هایی که مدل به عنوان مثبت پیش‌بینی کرده است، چه نسبتی واقعاً مثبت هستند.

فرمول دقت به صورت زیر است:

دقت = TP / (TP + FP)

بازخوانی (Recall)

بازخوانی، سهم نمونه‌های مثبت واقعی که به درستی توسط مدل شناسایی شده‌اند را نشان می‌دهد. به عبارت دیگر، بازخوانی به ما می‌گوید که از بین تمام نمونه‌های مثبت واقعی، چه نسبتی توسط مدل شناسایی شده‌اند.

فرمول بازخوانی به صورت زیر است:

بازخوانی = TP / (TP + FN)

محدودیت‌های دقت و بازخوانی

دقت و بازخوانی هر دو معیارهای مهمی هستند، اما هر کدام به تنهایی نمی‌توانند تصویر کاملی از عملکرد مدل ارائه دهند.

**دقت بالا و بازخوانی پایین:** این حالت نشان می‌دهد که مدل در پیش‌بینی نمونه‌های مثبت بسیار محتاط است و فقط نمونه‌هایی را به عنوان مثبت پیش‌بینی می‌کند که اطمینان زیادی از آن‌ها دارد. در نتیجه، تعداد مثبت‌های کاذب کم است، اما ممکن است بسیاری از نمونه‌های مثبت واقعی از دست بروند.
**دقت پایین و بازخوانی بالا:** این حالت نشان می‌دهد که مدل تمایل دارد نمونه‌های زیادی را به عنوان مثبت پیش‌بینی کند، حتی اگر اطمینان زیادی از آن‌ها نداشته باشد. در نتیجه، تعداد مثبت‌های کاذب زیاد است، اما احتمالاً بیشتر نمونه‌های مثبت واقعی شناسایی می‌شوند.

F1-score: تعادلی بین دقت و بازخوانی

F1-score یک معیار ارزیابی است که تعادلی بین دقت و بازخوانی برقرار می‌کند. این معیار، میانگین هارمونیک دقت و بازخوانی را محاسبه می‌کند. میانگین هارمونیک، به مقادیر کوچک‌تر وزن بیشتری می‌دهد، بنابراین F1-score به مدل‌هایی پاداش می‌دهد که هم دقت و هم بازخوانی بالایی دارند.

فرمول F1-score به صورت زیر است:

F1-score = 2 * (دقت * بازخوانی) / (دقت + بازخوانی)

تفسیر F1-score

مقدار F1-score بین 0 و 1 است. هر چه مقدار F1-score به 1 نزدیک‌تر باشد، عملکرد مدل بهتر است.

**F1-score = 1:** نشان‌دهنده عملکرد کامل است (دقت و بازخوانی هر دو برابر با 1 هستند).
**F1-score = 0:** نشان‌دهنده عملکرد ضعیف است (دقت یا بازخوانی برابر با 0 هستند).

کاربردهای F1-score

F1-score در بسیاری از کاربردها مورد استفاده قرار می‌گیرد، از جمله:

**تشخیص اسپم:** در تشخیص ایمیل‌های اسپم، مهم است که هم دقت و هم بازخوانی بالا باشند. دقت بالا به این معنی است که تعداد ایمیل‌های مهمی که به اشتباه به عنوان اسپم شناسایی می‌شوند کم است، و بازخوانی بالا به این معنی است که تعداد ایمیل‌های اسپم که از فیلتر عبور می‌کنند کم است.
**تشخیص بیماری:** در تشخیص بیماری‌ها، بازخوانی معمولاً مهم‌تر از دقت است. این به این دلیل است که از دست دادن یک مورد مثبت (منفی کاذب) می‌تواند عواقب جدی‌تری نسبت به شناسایی نادرست یک مورد سالم به عنوان بیمار (مثبت کاذب) داشته باشد.
**بازیابی اطلاعات:** در بازیابی اطلاعات، F1-score برای ارزیابی عملکرد سیستم‌های جستجو استفاده می‌شود.
**بینایی ماشین:** در مسائل بینایی ماشین مانند تشخیص اشیاء، F1-score برای ارزیابی عملکرد مدل‌ها استفاده می‌شود.
**پردازش زبان طبیعی:** در مسائل پردازش زبان طبیعی مانند تشخیص موجودیت نام‌دار، F1-score برای ارزیابی عملکرد مدل‌ها استفاده می‌شود.

F1-score در کلاس‌های نامتعادل

همانطور که قبلاً اشاره شد، F1-score در مواردی که کلاس‌ها نامتعادل هستند بسیار مفید است. در این موارد، دقت و بازخوانی به تنهایی می‌توانند گمراه‌کننده باشند. به عنوان مثال، اگر در یک مجموعه داده 99٪ نمونه‌ها به کلاس منفی تعلق داشته باشند و فقط 1٪ به کلاس مثبت، یک مدل که تمام نمونه‌ها را به عنوان منفی پیش‌بینی کند، دقت بسیار بالایی (99٪) خواهد داشت، اما بازخوانی آن برابر با 0 خواهد بود. F1-score این مشکل را با در نظر گرفتن هر دو معیار دقت و بازخوانی حل می‌کند.

انواع مختلف F1-score

علاوه بر F1-score استاندارد که در بالا توضیح داده شد، انواع دیگری از F1-score نیز وجود دارند که برای کاربردهای خاص طراحی شده‌اند:

**Micro-F1:** این معیار، TP، FP و FN را در سراسر تمام کلاس‌ها جمع می‌کند و سپس F1-score را محاسبه می‌کند. Micro-F1 زمانی مفید است که می‌خواهیم عملکرد مدل را در سراسر تمام کلاس‌ها ارزیابی کنیم.
**Macro-F1:** این معیار، F1-score را برای هر کلاس به طور جداگانه محاسبه می‌کند و سپس میانگین آن‌ها را محاسبه می‌کند. Macro-F1 زمانی مفید است که می‌خواهیم عملکرد مدل را در هر کلاس به طور جداگانه ارزیابی کنیم و به تمام کلاس‌ها وزن یکسان بدهیم.
**Weighted-F1:** این معیار، F1-score را برای هر کلاس به طور جداگانه محاسبه می‌کند و سپس میانگین آن‌ها را با توجه به تعداد نمونه‌های هر کلاس محاسبه می‌کند. Weighted-F1 زمانی مفید است که می‌خواهیم به کلاس‌هایی که تعداد نمونه‌های بیشتری دارند وزن بیشتری بدهیم.

F1-score و سایر معیارهای ارزیابی

F1-score تنها یکی از معیارهای ارزیابی موجود برای مسائل طبقه‌بندی است. سایر معیارهای مهم عبارتند از:

**Accuracy (دقت کلی):** نسبت نمونه‌های پیش‌بینی شده صحیح به کل نمونه‌ها.
**ROC AUC:** مساحت زیر منحنی مشخصه عملکرد گیرنده (Receiver Operating Characteristic).
**Log Loss:** یک تابع زیان که برای مسائل طبقه‌بندی استفاده می‌شود.

انتخاب معیار ارزیابی مناسب به کاربرد خاص و اهداف مدل بستگی دارد.

پیوندهای مرتبط با استراتژی‌ها و تحلیل‌ها

جمع‌بندی

F1-score یک معیار ارزیابی قدرتمند و جامع برای مسائل طبقه‌بندی است. این معیار، تعادلی بین دقت و بازخوانی برقرار می‌کند و به همین دلیل، در مواردی که کلاس‌ها نامتعادل هستند بسیار مفید است. با درک مفاهیم پایه و نحوه محاسبه F1-score، می‌توانید عملکرد مدل‌های طبقه‌بندی خود را به طور دقیق‌تری ارزیابی کنید و تصمیمات بهتری بگیرید.

[[Category:داده

شروع معاملات الآن

ثبت‌نام در IQ Option (حداقل واریز $10) باز کردن حساب در Pocket Option (حداقل واریز $5)

به جامعه ما بپیوندید

در کانال تلگرام ما عضو شوید @strategybin و دسترسی پیدا کنید به: ✓ سیگنال‌های معاملاتی روزانه ✓ تحلیل‌های استراتژیک انحصاری ✓ هشدارهای مربوط به روند بازار ✓ مواد آموزشی برای مبتدیان