اشکال زدایی گرادیان
در این قسمت در مورد تکنیک هایی برای اطمینان از درستی کار گرادیان کاهشی صحبت مـی‌کنیم. و در ادامه در مورد نحوه انتخاب مقدار پارامتر آلفا.
همانطور که می‌دانیم کار گرادیان کاهشی پیدا کردن مقدار تتا برای ما است تا تابع هزینه مینیمم شود. می‌خواهیم نمودار تابع $J$ بر حسب دفعات انــــجام گرادیان کاهشی را رسم کنیم و تا متوجه بشویم که گرادیان کاهشی عملکرد درستی دارد یا نه!
به این ترتیب نموداری به
این شکل خواهیم داشت:
می‌بینیم که احتملا گرادیان کاهشی درست کار مـی‌کند چون بعد از هر بار انجام مقدار $J$ کاهش می‌یابد!
همـچنین مـی‌توانیم از آزمون همگرایی خودکار استفاده کنیم، به این صورت که اگر $J$ بعد از هر تکرار کاهشی کمتر از $E= 10^{-3}$ داشته باشد، اعلام همگرایی می‌کنیم، که تعیین مقدار این آستانه سخت است!
اگر چنین نموداری داشتیم یعنی گرادیان کـاهـشـی به درستی کار نمی‌کند:
و معمولا به این معنی است که باید از مقدار آلفا کوچک تری استفاده کنیم.
و در شکل زیر می‌بینیم که بزرگی بیش از حد آلفا باعث واگرایی شده است. که هیـچوقت به مینیمم نمی‌رسد!
و گاهی اوقات نیز ممکن اسـت به شکل زیر باشد که باید مقدار آلفا را کاهش دهیم و اگر مقدار آلفا بیش از حد کوچک باشد، گرادیان کاهشی دیر تر به همگرایی می‌رسد.
متوجه می‌شویم که مقدار خوب برای آلفا مقداری است که در هر بار تکرار الگوریتم گرادیان کاهشی، تابع هزینه $J$ کاهش یابد.