کمترین مربعات (Least Squares)

مقدمه

روش کمترین مربعات (Least Squares) یکی از پرکاربردترین و بنیادی‌ترین روش‌ها در آمار، ریاضیات و به ویژه در رگرسیون است. این روش به دنبال یافتن بهترین برازش برای یک مدل ریاضی به داده‌های مشاهده شده می‌گردد، به طوری که مجموع مربعات اختلاف بین مقادیر پیش‌بینی شده توسط مدل و مقادیر واقعی داده‌ها کمینه شود. به عبارت دیگر، هدف کمترین مربعات، تعیین پارامترهای یک مدل است که خطای بین مدل و داده‌ها را به حداقل می‌رساند. این مقاله، یک راهنمای جامع برای مبتدیان در زمینه روش کمترین مربعات ارائه می‌دهد و مفاهیم کلیدی، انواع مختلف و کاربردهای آن را شرح می‌دهد.

مفاهیم پایه

1. 1. 1. داده‌ها و مدل ###

در قلب روش کمترین مربعات، مجموعه‌ای از داده‌های مشاهده شده قرار دارد که معمولاً به صورت جفت‌های (x_i, y_i) نمایش داده می‌شوند. x_i نشان‌دهنده متغیر مستقل (independent variable) و y_i نشان‌دهنده متغیر وابسته (dependent variable) است. هدف ما این است که یک مدل ریاضی پیدا کنیم که رابطه بین x و y را توصیف کند. این مدل می‌تواند یک خط راست (رگرسیون خطی)، یک چندجمله‌ای (رگرسیون چندجمله‌ای)، یا یک تابع پیچیده‌تر باشد.

1. 1. 1. تابع خطا (Error Function) ###

تابع خطا، میزان اختلاف بین مقادیر پیش‌بینی شده توسط مدل و مقادیر واقعی داده‌ها را اندازه‌گیری می‌کند. در روش کمترین مربعات، از مجموع مربعات اختلاف‌ها (Sum of Squared Errors - SSE) به عنوان تابع خطا استفاده می‌شود. به عبارت ریاضی:

SSE = Σ (y_i - ŷ_i)²

در این فرمول:

• y_i مقدار واقعی داده i-ام است.
• ŷ_i مقدار پیش‌بینی شده توسط مدل برای داده i-ام است.
• Σ نماد جمع‌بندی است و بر روی تمام نقاط داده انجام می‌شود.

1. 1. 1. هدف کمترین مربعات ###

هدف اصلی روش کمترین مربعات، یافتن مقادیری برای پارامترهای مدل است که SSE را به حداقل برساند. به این ترتیب، مدلی که به داده‌ها بهترین برازش را ارائه می‌دهد، به دست می‌آید.

انواع روش کمترین مربعات

1. 1. 1. کمترین مربعات خطی (Ordinary Least Squares - OLS) ###

این رایج‌ترین نوع روش کمترین مربعات است و برای مدل‌های خطی استفاده می‌شود. در رگرسیون خطی ساده، مدل به صورت زیر تعریف می‌شود:

ŷ = β₀ + β₁x

که در آن:

• ŷ مقدار پیش‌بینی شده است.
• x متغیر مستقل است.
• β₀ عرض از مبدأ (intercept) است.
• β₁ شیب خط (slope) است.

هدف در OLS، یافتن مقادیری برای β₀ و β₁ است که SSE را به حداقل برساند. این مقادیر با استفاده از فرمول‌های ریاضی مشتق شده از حساب دیفرانسیل و انتگرال به دست می‌آیند.

1. 1. 1. کمترین مربعات تعمیم‌یافته (Generalized Least Squares - GLS) ###

در مواردی که خطاها دارای واریانس‌های متفاوت (Heteroscedasticity) یا همبستگی با یکدیگر (Autocorrelation) باشند، استفاده از OLS ممکن است منجر به نتایج غیردقیق شود. در این شرایط، از GLS استفاده می‌شود. GLS با تبدیل داده‌ها به گونه‌ای که خطاها هم‌واریانس و غیرهمبسته شوند، به OLS تبدیل می‌شود.

1. 1. 1. کمترین مربعات با جریمه (Regularized Least Squares) ###

این روش‌ها، مانند رگرسیون ریج (Ridge Regression) و رگرسیون لاسو (Lasso Regression)، با افزودن یک جریمه (penalty) به تابع SSE، از بیش‌برازش (overfitting) مدل جلوگیری می‌کنند. این جریمه معمولاً بر اساس اندازه پارامترهای مدل است و به مدل کمک می‌کند تا ساده‌تر و قابل تعمیم‌تر شود.

کاربردهای روش کمترین مربعات

روش کمترین مربعات در طیف گسترده‌ای از زمینه‌ها کاربرد دارد، از جمله:

• **پیش‌بینی:** پیش‌بینی مقادیر آینده متغیر وابسته بر اساس مقادیر متغیر مستقل.
• **مدل‌سازی:** ایجاد مدل‌های ریاضی که رابطه بین متغیرها را توصیف می‌کنند.
• **کنترل کیفیت:** شناسایی و اصلاح خطاهای موجود در فرآیندهای تولید.
• **تحلیل داده‌ها:** استخراج اطلاعات مفید از داده‌های موجود.
• **مهندسی:** طراحی و بهینه‌سازی سیستم‌ها و فرآیندها.
• **اقتصاد:** پیش‌بینی روندهای اقتصادی و تحلیل داده‌های مالی.
• **علوم اجتماعی:** بررسی روابط بین متغیرهای اجتماعی و رفتاری.

مثال عملی: رگرسیون خطی ساده

فرض کنید می‌خواهیم رابطه بین تعداد ساعات مطالعه (x) و نمره امتحان (y) را بررسی کنیم. داده‌های زیر را داریم:

| ساعات مطالعه (x) | نمره امتحان (y) | |---|---| | 2 | 60 | | 4 | 70 | | 6 | 80 | | 8 | 90 |

هدف ما یافتن خطی به شکل ŷ = β₀ + β₁x است که به این داده‌ها بهترین برازش را ارائه دهد.

برای یافتن β₀ و β₁، باید SSE را به حداقل برسانیم. با استفاده از فرمول‌های OLS، می‌توانیم این مقادیر را محاسبه کنیم:

β₁ = Σ [(x_i - x̄)(y_i - ȳ)] / Σ [(x_i - x̄)²] β₀ = ȳ - β₁x̄

که در آن x̄ و ȳ میانگین مقادیر x و y هستند.

با محاسبه این مقادیر، به دست می‌آوریم:

β₁ = 10 β₀ = 40

بنابراین، مدل رگرسیون خطی ما به شکل زیر خواهد بود:

ŷ = 40 + 10x

این مدل به ما می‌گوید که به ازای هر یک ساعت افزایش در ساعات مطالعه، نمره امتحان به طور متوسط 10 و

شروع معاملات الآن

ثبت‌نام در IQ Option (حداقل واریز $10) باز کردن حساب در Pocket Option (حداقل واریز $5)

به جامعه ما بپیوندید

در کانال تلگرام ما عضو شوید @strategybin و دسترسی پیدا کنید به: ✓ سیگنال‌های معاملاتی روزانه ✓ تحلیل‌های استراتژیک انحصاری ✓ هشدارهای مربوط به روند بازار ✓ مواد آموزشی برای مبتدیان