انتخاب مدل

2 دقیقه　|　 2020/10/15

فقط به این دلیل که یک الگوریتم یادگیری متناسب با مجموعه آموزشی ما است، به این معنی نیست که آن فرضیه خوبی است!

می‌تواند overfit شده باشد، که در نتیجه پیش بینی های شما برای مجموعه آزمون ضعیف خواهد بود.

اگر خطای فرضیه خود را با داده هایی که با آن پارامتر ها را آموزش داده اید محاسبه کنید، کمتر از مجموعه داده های دیگر خواهد بود!

برای انتخاب مدل خود، می‌توانید هر درجه از چند جمله ای ها را آزمایش کرده و به نتیجه خطای آن توجه کنید.

بدون مجموعه اعتبار سنجی:

(توجه داشته باشید: این روش بدی است - از آن استفاده نکنید!)

  1. بهنیه سازی پارامتر های $\Theta$، با استفاده از مجموعه آموزشی برای هر یک از درجات چند جمله ای.
  2. با استفاده از مجموعه آزمون، درجه چند جمله ای d را که کمترین خطا را دارد پیدا کنید.
  3. خطای تعمیم را با استفاده از مجموعه آزمون محاسبه کنید $J_{test}(\Theta^{d})$

در این حالت ما متغیر d یا درجه چند جمله ای را با استفاده از مجموعه آزمون آموزش می‌دهیم.

CV set:

برای انجام این کار می‌توانیم از مجموعه Cross Validation به عناون یک مجموعه میانی برای آموزش دادن d استفاده کنیم، و سپس مجموعه آزمون خطایی دقیق و غیر خوش بینانه به ما می‌دهد.

یکی از روش های تجزیه مجموعه داده مان به سه مجموعه این است:

  • مجموعه آموزشی: ۶۰ درصد
  • مجموعه cross validation: درصد ۲۰
  • مجموعه آزمون: ۲۰ درصد

اکنون می توانیم سه مقدار خطای جداگانه را برای سه مجموعه مختلف محاسبه کنیم.

با مجموعه اعتبار سنجی:

در این روش فرض می‌کنیم که از مجموعه cross validation در منظم سازی استفاده نشده است.

  1. برای هر درجه چندجمله ای با استفاده از مجموعه آموزشی، پارامترهای موجود در $\Theta$ را بهینه سازی کنید.
  2. با استفاده از مجموعه cross validation درجه چند جمله ای d را که کمترین خطا را دارد پیدا کنید.
  3. با استفاده از مجموعه آزمون و $J_{test}(\Theta ^{d})$ مقدار خطای تعمیم را تخمین بزنید.

از این روش، درجه چندجمله ای (d) با استفاده از مجموعه آزمون آموزش داده نخواهد شد.

توجه کنید که استفاده از مجموعه cross validation برای انتخاب مقدار d به این معناست که نمی‌توانیم از آن در روند منحنی اعتبار سنجی برای تعیین مقدار $\lambda$ استفاده کنیم.