تحقیق کلان داده(داده­ های بزرگ)

توضیحات

 عنوان فارسی: کلان داده( داده ­های بزرگ)

• چکیده
• مقدمه
•  هادوپ
• کارهای انجام گرفته در راستای هادوپ
• کارهای مرتبط در راستای کلان­داده
• ارزیابی مساله classification  درکلان داده
•  تکنیک های داده کاوی برای کاوش دانش در مجموعه کلان داده
•  نرم افزارها و تکنولوژی­های مدیریت داده­های بزرگ در محیط محاسبات ابری
• کلان داده: مرز بعدی برای نوآوری، رقابت و بهره­وری
• افراطی در داده­های اطلاعات فشرده محاسبات علمی
•  تجزیه و تحلیل هوش کسب و کار از تاثیر زیاد داده­های بزرگ بر آن
• مروری بر چالش­ها و فرصت ها با استفاده از کلان داده­ها
• مطالعه موردی در راستای آموزش بازنمایی دیدگاه­های جدید داده
• بررسی و معرفی ابزارهای مورد استفاده در کلان داده
• ابزارهای تحلیل کلان داده مبتنی بر تحلیل­های
• نتیجه ­گیری
• منابع

چکیده

این واقعیتی درست است که کلان داده[1] توجه بسیاری از پژوهشگران، سیاست­ها و تصمیم­گیرندگان دولتی و سازمان­های غیردولتی را به خود اختصاص داده­ است. دلیل این توجه زیاد این می­باشد که حجم تولید اطلاعات بر طبق قانون Moor افزایش می­یابد. می­توان گفت این سرعت بیش از انتظار می­باشد و مشکلات زیادی را برای انسان فراهم کرده است. با این حال ارزش­ها و فواید زیادی در پردازش کلان داده وجود دارد. پارادایم تازه­ایی به نام علم کشف داده­های فشرده به ظهور پیوسته است که این پارادایم همچنین به عنوان علم کلان داده نیز شناخته می­شود. این علم، تعداد زیادی از زمینه­ها و رشته­ها را از اقتصاد و فعالیت­های اقتصادی گرفته تا ادارات امنیت ملی و همچنین تحقیقات علمی را در همه زمینه­ها را شامل می­شود. از اینرو با توجه به اهمیت این حیطه  در این تحقیق، به ارزیابی مسائل مربوط به کلان داده خواهیم پرداخت.

کلمات کلیدی: کلان داده، سیستم­های توزیعی، جایگذاری داده­ها، هادوپ.

1- مقدمه

کلان داده یکی از مهمترین موضوعات تحقیقاتی در حال حاضر و آینده می­باشد. در لیست موسسه گارتنر[2]، کلان داده به عنوان یکی از 10 فناوری برتر و یکی از 10 تکنیک حیاتی برای سال­های آتی بیان شده است. این منصفانه است که کلان داده را بله عنوان یکی از تاثیرگذارترین علوم بر دیگر علوم و زمینه­ها بنامیم. در حال حاضر دو تعریف مشهور از کلان داده وجود دارد که به Vs3 و Vs4 مشهور می­باشند. در تعریف Doug Lancy  که به Vs3 معروف می­باشد سه پارامتر حجم، سرعت و تنوع مطرح می­باشند. مفهوم حجم برای سایز مجموعه داده بکار می­رود و مفهوم سرعت به معنای سرعت ورود داده­های ورودی و خروجی می­باشد و در نهایت مفهوم تنوع توصیف کننده نوع مختلف داده­ها و منابع می­باشد. در تعریف بعدی یعنی Vs4 به موارد گفته شده در تعریف قبلی مجازی سازی و یا ارزش را نیز می­توان اضافه نمود. کلان داده یک مجموعه بزرگی از مجموعه داده­های خیلی بزرگ و با تنوع بسیار زیاد می­باشد. ویژگی این مجموعه داده­ها به نحوی است که پر دازش آنها  از عهده پردازشگرها و بسترهای معمولی خارج می­باشد. با توجه به قوانین مختلفی که برای رشد داده­ها وجود دارد( به عنوان مثال شبکه­های حسگر، تلسکوپ­ها و آزمایشات علمی) مشاهده می­شود که نرخ رشد داده­های علمی به صورت نمایی رو به افزایش می­باشند که این رشد فراینده در شکل 1 نشان داده شده است]7[.

شکل1: سرعت رشد داده­ها از سرعت پردازش داده­ها بیشتر می­باشد]7[

 تکنیک­ها و تکنولوژی­هایی که هم­اکنون وجود دارند را نمی­توانیم به منظور ذخیره و تحلیل کلان­داده به صورت بهینه استفاده کنیم. از جمله مشکلاتی که هم­اکنون با آنها مواجه می­باشیم عبارتند از مواردی نظیر نحوه بدست آوردن کلان داده، دقت در تحلیل و مجازی سازی داده­ها می­باشند. در بسیاری از موارد، علم و دانش در حجم زیادی از دانش­ها ذخیره شده است و می­توانیم در صورتی که تحلیلی مناسب از آن حجم عظیم از داده­ها داشته باشیم، آن پتانسیل بلقوه را به پتانسیلی بالفعل تبدیل نمائیم. بر این اساس نیازمند تکنیک­ها و تکنولوژی­های جدیدی به منظور کاووش در کلان داده و استفاده از مزیت­های کلان داده برای هدف­های خاص، می­باشیم. کلان داده راه و روش ما را در زمینه کسب و کار، مدیریت و تحقیقات تغییر خواهد داد. علومی همچون علم کلان داده و به خصوص محاسبات کلان داده، در حال ظهور می­باشند که هدف آن مدیریت این داده­های کلان می­باشند. علم کلان داده در حال ظهور به عنوان چهارمین پارادایم علمی، بعد از علومی نظیر علوم محاسباتی، علوم تجربی و علوم نظری می­باشد]7[.

2- هادوپ[3]

هادوپ يك پروژه مبتني بر برنامه نويسي متن باز است كه توسط سازمان نرم افزاري آپاچي ايجاد شده است. ايده اوليه هادوپ اولين بار در شركت گوگل رقم خورد اما خيلي­ها باور به پياده سازي اين سيستم نداشتند و در چند سال اول اين ايده تنها بصورت تئوري مطرح بود. هادوپ امكان ذخيره سازي اطلاعات را در چندين سرویس­دهنده (شخصی) با هزينه­اي پايين فراهم مي­آورد. كلودرا شركتي است كه بصورت فعال در اين زمينه فعال مي­باشد و بسته نرم افزاري بي­نظير هادوپ را ايجاد كرده و آن را انتشار داده و پشتيباني مي­كند.
تكنولوژي هادوپ از دو بخش كلي اچ دي اف اس يا سيستم فايل انتشاري هادوپ[4] و همچنين تكنيك با كيفيت پردازي اطلاعات به نام مپ­ريديوس[5] استفاده مي­كند]9[.

ساختار كلي اطلاعاتي در هادوپ بدينگونه مي­باشد كه اطلاعات توسط سيستم هادوپ شكسته شده و به چندين سرویس­دهنده فرستاده مي­شود، سرویس­دهنده­ها بسته به نوع اطلاعات كه ممكن است پردازشي يا ذخيره­اي باشد اطلاعات را پردازش يا ذخيره سازي مي­كنند. در هنگام در خواست اطلاعات مجدد سيستم اطلاعات را از سرویس­دهنده­های مختلف گرفته، مونتاژ كرده و در خروجي نمايش مي­دهد. خوبي اين سيستم تهيه نسخه پشتيبان از اطلاعات بصورت خودكار است. هر تكه از اطلاعات در چندين قسمت (سرویس­دهنده) ذخيره مي­شود و در صورت آسيب ديدن يكي از سرویس­دهنده­ها، سرویس­دهنده­ی ديگر قادر است مسؤوليت را بر عهده گرفته و اطلاعات مورد نظر را جايگزين كند. اکثر کمپانی­های بزرگ دنیا از قبیل AOL،Facebook ،Yahoo،IBM و غیره. از این تکنولوژی استفاده می­کنند. برای مثال شرکت یاهو با بیش از ۱۰۰،۰۰۰ هسته­ی CPU  در بیش از ۴۰،۰۰۰ سرویس­دهنده بزرگترین مجری سیستم هادوپ در دنیا محسوب می­شود. بزرگترین کلاستر (Cluster) این شرکت شامل ۴۵۰۰ سرویس­دهنده می­باشد که هر کدام دارای ۲ پردازشگر ۴ هسته­ای، ۴ هارد دیسک ۱ ترابایتی و ۱۶ گیگابایت حافظه­ی رم می­باشند

توجه:

• برای دانلود فایل word کامل ترجمه از گزینه افزودن به سبد خرید بالا استفاده فرمایید.
• لینک دانلود فایل بلافاصله پس از خرید بصورت اتوماتیک برای شما ایمیل می گردد.