تابع هدف جدید محدب برای آموزش نظارت شبکه عصبی تک لایه (ترجمه)

چکیده

در این مقاله روش آموزش نظارت جدید برای ارزیابی چگونگی شبکه های Feed Forward عصبی تک لایه ارائه می شود. این روش از تابع هدفی بر مبنای MSE استفاده می کند، که خطاها را به جای این که پس از تابع فعالسازی غیرخطی نورون ها ارزیابی کند قبل از آن ها بررسی می کند. در این گونه موارد، راه حل را می توان به سهولت از طریق حل معادلات در سیستم های خطی به دست آورد یعنی در این روش نسبت به روش های معین و مرسوم پیشین به محاسبات کمتری نیاز است. تحقیقات تئوری شامل اثبات موازنه های تقریبی بین بهینه ستزی سراسری تابع هدف بر مبنای معیار MSE و یک تابع پیشنهادی دیگر می باشد. بعلاوه مشخص شده است که این روش قابلیت توسعه و توزیع آموزش را دارا می باشد. طی تحقیقات تجربی جامع نیز تنوع صحت در انرمان این روش مشخص شده است. این تحقیق شامل 10 دسته بندی و 16 مسئله بازگشتی می باشد. بعلاوه، مقایسه این روش با دیگر الگوریتم های آموزشی با عملکرد بالا نشان می دهد که روش مذکور بطور متوسط بیشترین قابلیت اجرایی را داشته و به حداقل محاسبات در این روش نیاز می باشد.

مقدمه

برای بررسی شبکه عصبی Feed Forward تک لایه با تابع فعالسازی خطی، مقادیر وزن برای تابع به MSE حداقل رسیده و می توان این مقادیر را به وسیله یک ماتریس شبه معکوس بدست آورد [1,2]. بعلاوه، می توان اثبات کرد که سطح MSE این شبکه خطی تابعی درجه دوم می باشد [3]. بنابراین این سطح محدب هایپرپارابولیک (فراسهمی وار) را می توان به سادگی با روش گرادیان نزولی (Gradient descent) طی کرد. با این حال، اگر از تابع فعالسازی غیر خطی استفاده شود، مینیمم های محلی می توانند بر مبنای معیار MSE در تابع هدف دیده شوند [4-6]. طی تحقیقات مختلف می توان مشاهده نمود که تعداد چنین مینیمم هایی می توانند با ابعاد ورودی به صورت نمایی توسعه پیدا کند. تنها در برخی موارد خاص می توان تضمین کرد که شرایط حاکم، فاقد Min های محلی هستند. در مورد الگوهای تفکیک پذیرخطی و معیار آستانه MSE، وجود حداقل یک مقدار Min در تابع هدف به اثبات رسیده است [8,9]. با این حال، این امر یک موقعیت عمومی نمی باشد.