رگرسیون لجستیک منظم
می‌توانیم رگرسیون لجستیک را به روشی مشابه رگرسیون خطی منظم سازی کنیم، که در نتیجه می‌توانیم از overfitting پرهیز کنیم.
تابع هزینه
به یاد بیاورید که تابع هزینه ما برای رگرسیون لجستیک به این شکل بود:
$$
J(\theta) = - \frac{1}{m} \sum_{i=1}^m [y^{(i)} log(h_\theta(x^{(i)})) + (1 - y^{(i)}) log(1 - h_\theta(x^{(i)}) )]
$$
ما می‌توانیم این معادله را با اضافه کردن یک قسمت به انتهای آن منظم کنیم:
$$ J(\theta) = - \frac{1}{m} \sum_{i=1}^m [y^{(i)} log(h_\theta(x^{(i)})) + (1 - y^{(i)}) log(1 - h_\theta(x^{(i)}) )] + \frac{\lambda}{2m} \sum_{j=1}^n \theta_j ^ 2 $$
سیگما دوم یعنی $\sum_{j=1}^n \theta_j ^ 2 $ به معنای حذف بایاس پارامتر $\theta_0$ است، یعنی بردار $\theta$ که از 0 تا n ایندکس شده است(n+1 مقدار را از $\theta_0$ تا $\theta_n$ نگه می‌دارد) ، سیگما صراحتا $\theta_0$ را با شروع از 1 تا n رد می‌کند.
بنابراین، هنگام محاسبه معادله، باید دو معادله زیر را به طور مداوم به روز رسانی کنیم:
