ترجمه نقاط با اختلاف کم جهت تخصیص قطعی وزن های پنهان در ماشین های  آموزش بسیار بزرگ

توضیحات

 عنوان فارسی: نقاط با اختلاف کم جهت تخصیص قطعی وزن های پنهان در ماشین های  آموزش بسیار بزرگ

عنوان انگلیسی مقاله ترجمه شده:

Low-Discrepancy Points for Deterministic Assignment of Hidden Weights in Extreme Learning Machines

نقاط با اختلاف کم جهت تخصیص قطعی وزن های پنهان در ماشین های  آموزش بسیار بزرگ

 

چکیده:

ماشین آموزش بسیار بزرگ سنتی(ELM) بر پایه ی توزیع تصادفی از مقادیر وزن پنهان است. درحالی که ضرایب خطی از لایه خروجی به کمک تجزیه و تحلیل تخمین زده می شود. این مقاله یک روش در مورد جایگزینی تولیدات تصادفی چنین مقادیری با دنباله های با اختلاف ارزش کم(LDSs) بر پایه ی خواص هندسی نقاط نمونه گیری شده جهت تخصیص وزن ارائه می کند. چنین توالی هایی یک خانواده از روش های نمونه برداری رایج به کار رفته جهت انتگرال گیری عددی، برای بدست آوردن کارایی بیشتر دستگاه های چندبعدی با شیوه ی دنباله ی تصادفی بدون نیاز به هر گونه روش محاسباتی پیچیده است. به طور خاص ثابت کردیم که ویژگی تخمین کلی از ELM تضمین می شود وقتی که LDS ها به کار رود و اینکه چگونه یک پوشش کارامد بر همگرایی مثبت اثر می گذارد. علاوه بر این از آنجا که LDS ها با تخمین بدست می آیند، نتایج، طبیعت احتمالی را ندارند. شبیه سازی ها نشان می دهد که با ترکیب ویژگی های تئوری ELM و LDS نتایج خوبی در عمل بدست می آید.

• مقدمه

ماشین های یادگیری بزرگ چارچوبی برای آموزش شبکه عصبی است که ارزش های وزن های پنهان لایه به صورت تصادفی اختصاص داده می شود و تنها ضرایب خطی لایه خروجی به صورت تحلیلی تخمین زده می شود. بسته به نوع الگوریتم انتخاب شده، وزن خروجی معمولا با حداقل مربعات یا با فرایند تکرار تعیین می شود امروزه ELM ها با تکرار بالا پشتیبانی می شوند(برای یک مقدمه از الگوریتم ELM رجوع کنید به [4-1] و مراجع آن) و در برنامه های مختلف با موفقیت به کار گرفته شده اند[7-5].

دلیل کلیدی برای محبوبیت این نوع شبکه ها این است که چون از آموزش لایه پنهان جلوگیری می شود با یک بار(burden) محاسباتی بسیار کوچک مشخص می شوند. با این حال خصوصیات مهم شبکه عصبی کلاسیک مانند قابلیت برآورد کلی را حفظ می کنند[8].

به تازگی امکان جایگزینی انتساب تصادفی خالص یونیت های پنهان در زمینه ELM ، نظر محققان را به خود جلب کرده است به عنوان مثال، PCA جهت انجام طبقه بندی مورد بررسی قرار گرفته است[9] و استفاده از نقاط الگوها برای نسخه های Kernele از ELM مورد تحلیل قرار گرفته است[4]. در اینجا ما امکان جایگزینی انتساب تصادفی با یک مقدار قطعی را برای یک الگوریتم ELM کلاسیک که در آن از قبل ویژگی های نقشه(feature map) تخصیص داده شده است را به دو منظور 1) دستیابی به نتایجی که در آن ها اعتماد وجود ندارد و2) بهبود بلقوه عملکرد، با انتخاب هوشمند الگوریتم ها جهت قراردادن نقاط بررسی کرده ایم.

به طور مختصر، قابلیت تقریب عمومی ELM از نقطه نظر هندسی بازگفته شد. به طور خاص، آنالیز بر مفهوم اختلاف مجموعه نقاط متکی است. این اندازه گیری برای انتگرال عددی و روش های نظریه عددی به کار رفته است(ببینید [10و 11]) که کمیت ها چگونه به طور یکنواخت مجموعه ای از نقاط را که به صورت ناحیه ای چندبعدی است پوشش می دهد. ثابت خواهد شد زمانی که اختلاف همگرایی به صفر برسد، قابلیت تخمین عمومی تضمین می شود و اینکه چگونه یک همگرایی سریعتر بر تخمین همگرایی مثبت اثر می گذارد..

این مساله اجازه می دهد تا استفاده از مجموعه نقاط با اختلاف کم، معرفی و بررسی شود. الگوریتم های نمونه برداری قطعی به طور خاص در بدست آوردن نقاط با اختلاف کم و نرخ پوشش خوب کمک می کند[12]. به طور خاص می توان ثابت کرد که نرخ همگرایی این الگوریتم ها درصورتیکه نمونه های تصادفی قرار داده شود، از نقطه نظر تئوری نتایج بهتری در رابطه با تخصیص تصادفی خالص برای واگذاری مقادیر وزنی پنهان بدست می دهد.

از نقطه نظر عملی، هیچ روش فشرده ای برای تولید نقاط نمونه گیری مورد نیاز نیست تا معادل محاسباتی استفاده شده آن ها را برای بکارگیری یک مولد عدد شبه تصادفی جهت اجرای ELM استاندارد بسازد.LDS  ها از طریق عبارات بسیارساده ای تولید شده اند و آن ها را می توان در بسته های نرم افزاری عددی یافت.

نمونه گیری با اختلاف کم در یادگیری ماشین و تخمین مشکلات برنامه نویسی دینامیکی برای تولید نمونه های ورودی، زمانی که برای انتخاب فضای ورودی آزادی عمل وجود دارد نتایج خوبی دربر داشته است. (ببینید[13و14]). همچنین LDS ها زمانی که در تقریب محلی بر اساس kernel smoothing به کار گرفته شده اند نتایج خوبی داشته اند[15].

دلایل اینکه LDS ها را جایزگزین خوبی برای نمونه های تصادفی در الگوریتم های ELM مطرح می کند به صوزت خلاصه به شرح زیر است.

1) تولید آنها بسیار آسان است و هم اکنون در بسته های نرم افزاری عددی رایج استفاده شده اند.

2) با مرزهای همگرایی بهتر، و با دنباله های توزیع یکسان مستقل(I.i.d) وقف شده اند

3) مرزهای همگرایی، احتمالی نیستند.

تجزیه و تحلیل اینجا برای ماشین های آموزشی با داشتن فیدفوروارد(feedforward) ساختار لایه پنهان با تابع فعال تحلیلی(شامل توابع معروف مانند توابع لجستیک و تانژانت هایپربولیک)، استفاده می شود.  اما استفاده از LDS ها می تواند برای سایر ساختارها مانند توابع شعاعی قابل تعمیم باشد.

سپس، جهت تست عملی استفاده از LDS ها، نتایج شبیه سازی شامل انواع مختلف مجموعه داده ها، با توجه به هر دو استاندارد و ورژن های تکرار الگوریتم آموزش ELM ارائه گردیده است. نتایج نشان می دهند که در عمل مجموعه های با اختلاف کم می تواند به عنوان جایگزینی کارامد برای نمونه برداری تصادفی جهت تخصیص وزن های پنهان به کار برده شود.

توجه:

• برای دانلود فایل word کامل ترجمه از گزینه افزودن به سبد خرید بالا استفاده فرمایید.
• لینک دانلود فایل بلافاصله پس از خرید بصورت اتوماتیک برای شما ایمیل می گردد.

سفارش ترجمه مقاله

به منظور سفارش ترجمه تخصصی مقالات خود بر روی کلید زیر کلیک نمایید.

سفارش ترجمه تخصصی