یادگیری آماری و تعمیمپذیری مدلهای یادگیری ماشین: رویکردی مبتنی بر نظریه VC و کرانهای پیچیدگی
Keywords:
یادگیری ماشین, بُعد VC , تعمیمپذیری, کمبرازشAbstract
در سالهای اخیر، مفهوم تعمیمپذیری به یکی از اصول بنیادین در یادگیری ماشین تبدیل شده است؛ چرا که عملکرد مدلها در مواجهه با دادههای جدید، به شدت به توانایی آنها در تعمیم از دادههای آموزشی وابسته است. این مقاله با رویکردی مروری، به بررسی نظریههای آماری تعمیمپذیری میپردازد و مفاهیم کلیدی همچون تابع زیان، ریسک تجربی، ریسک واقعی، و ظرفیت مدل را تشریح میکند. تمرکز اصلی بر بُعد VC (VC-dimension) است که معیاری برای سنجش ظرفیت مدلها در یادگیری آماری محسوب میشود. همچنین، ارتباط این مفهوم با پدیدههای بیشبرازش و کمبرازش، و نقش آن در کرانهای پیچیدگی نظیر PAC Bound، پیچیدگی نمونه و پیچیدگی رادماخر تحلیل میگردد. هدف این مقاله، فراهم آوردن درکی عمیقتر از سازوکارهای ریاضیاتی و نظری نهفته در عملکرد مدلهای یادگیری و کمک به انتخاب مناسب ساختار مدل در مسائل عملی است.
Downloads
References
1. Courville, I.G.a.Y.B.a.A., Deep Learning. 2016: MIT Press.
2. Chen, L.-P., Mehryar Mohri, Afshin Rostamizadeh, and Ameet Talwalkar: Foundations of machine learning, second edition. Statistical Papers, 2019. 60(5): p. 1793-1795.
3. Abbas, A., et al., Effective dimension of machine learning models. arXiv preprint arXiv:2112.04807, 2021.
4. Sonoda, S., et al., Lean Formalization of Generalization Error Bound by Rademacher Complexity. arXiv preprint arXiv:2503.19605, 2025.
5. Zhang, C., et al., Understanding deep learning requires rethinking generalization. arXiv preprint arXiv:1611.03530, 2016.
6. Shalev-Shwartz, S. and S. Ben-David, Understanding machine learning: From theory to algorithms. 2014: Cambridge university press.
7. Zhang, X., Empirical Risk Minimization, in Encyclopedia of Machine Learning, C. Sammut and G.I. Webb, Editors. 2010, Springer US: Boston, MA. p. 312-312.
8. Vapnik, V.L., Esther
Lecun, Yann, Measuring the VC-Dimension of a Learning Machine. Neural Computation, 1994. 6(9): p. 851-876.
9. Anthony, M. and P.L. Bartlett, Neural network learning: Theoretical foundations. 2009: cambridge university press.
10. Hanneke, S., The optimal sample complexity of PAC learning. Journal of Machine Learning Research, 2016. 17(38): p. 1-15.
