تجزیه و تحلیل داده‌های بزرگ: تغییرات ناشی از سرویس‌های ابری در حال انجام است

 
به گزارش ایتنا به نقل از سایت اینفوورلد، بازار امروز تجزیه و تحلیل داده‌های بزرگ بسیار با وضعیت آن در حتی چند سال پیش فرق کرده است. دهه پیش رو شاهد تغییرات، نوآوری‌ها و تحولاتی در تمام بخش‌های این صنعت جهانی خواهد بود.
ویکیبون (Wikibon)، گروه تحلیلگر SiliconAngle Media، در آپدیت سالانه‌اش در رابطه با مطالعه بازار که اخیرا منتشر نموده، به این جمع‌بندی رسیده است که بازار تجزیه و تحلیل داده‌های بزرگ در سال 2017 نسبت به سال پیش از آن 24.5 درصد رشد یافت.
این روند سریع‌تر از پیش‌بینی‌های گزارش سال گذشته بود، که تا حدود زیادی مدیون بکارگیری و بهره‌برداری قوی‌تر از حد انتظار از ابر عمومی و همچنین تسریع همگرایی پلتفرم‌ها، ابزارها، و راهکارهای دیگر بوده است.

همچنین، بنگاه‌های بزرگ با سرعت بیشتری در حال خروج از فازهای آزمایشی و اثبات مفهومی تجزیه و تحلیل داده‌های بزرگ هستند و در حال دستیابی به سطوح بالاتری از ارزش تجاری ناشی از اقداماتشان هستند.
 
ویکیبون همچنین پیش‌بینی نموده است که بازار کلی تجزیه و تحلیل داده‌های بزرگ تا سال 2027 با نرخ سالانه 11 درصد رشد کرده و در سطح جهانی به 103 میلیارد دلار برسد. بخش عمده رشد بازار در سال‌های بعد ناشی از استفاده از تجزیه و تحلیل داده‌های بزرگ در اینترنت اشیاء(IoT)، تحرک‌پذیری، و دیگر موارد استفاده از محاسبات در محل (edge-computing) بوده است.

 
آنچه محرک تکامل صنعت تجزیه و تحلیل داده‌های بزرگ در یک دهه آینده خواهد بود روندهای کلیدی ذیل هستند که در پژوهش ویکیبون مورد اشاره قرار گرفته اند:
 

• ارائه دهندگان ابر عمومی در حال بسط کنترلشان هستند. صنعت داده‌های بزرگ در حال همگرایی حول سه ارائه دهنده اصلی ابر عمومی (Web Services آمازون، آژور مایکروسافت، و Cloud Platform گوگل) است، و بیشتر ارائه دهندگان نرم‌افزارها در حال شکل‌دهی راهکارهایی هستند که در همه آنها قابلیت اجرا داشته باشند. اینها و دیگر ارائه دهندگان ابر عمومی داده های بزرگ (شامل شرکت‌های جاافتاده ارائه دهنده داده های بزرگ همچون IBM و اوراکل) در حال ارائه دریاچه داده‌های مدیریت شده IaaS و PaaS هستند که در آنها مشتریان و شرکا ترغیب به توسعه کاربردهای جدید می‌شوند و از اپلیکیشن‌های قدیمی مهاجرت می‌کنند. در نتیجه، به نظر می رسد که پیشرفت فروشندگان NoSQL/پلتفرم داده‌های محض متوقف شده، و در یک فضای داده‌های بزرگ که به طرز فزاینده‌ای تحت حاکمیت ارائه دهندگان ابر عمومی متنوع قرار می‌گیرد به حاشیه رانده شوند. 

• مزایای ابر عمومی نسبت به ابرهای خصوصی همچنان رو به گسترش است. ابرهای عمومی در حال تبدیل شدن به پلتفرم برتر تجزیه و تحلیل داده‌های بزگ برای همه نیازهای مشتریان هستند. این بدان خاطر است که راهکارهای ابر عمومی با سرعتی بیشتر از پشته‌های مستقر در محل کار در حال بلوغ هستند، که امکانات بیشتری را در اختیار قرار داده و هزینه مالکیت آن به شکل فزاینده‌ای در حال رقابتی شدن است. ابرهای عمومی در حال رشد اکوسیستم‌های رابط برنامه‌نویسی اپلیکیشنشان و ارتقاء ابزارهای اجرائیشان با سرعتی بیشتر از چیزی هستند که از دنیای راهکارهای طراحی شده تجزیه و تحلیل داده‌های بزرگ طراحی شده برای استقرار در محل در حال بروز هستند. 

• ابرهای عمومی در حال تبدیل شدن به یک ایستگاه میانی برای داده‌های بزرگ سازمانی در راه بکارگیری کامل‌تر در ابرهای عمومی هستند. ابرهای هیبریدی در حال سر در آوردن از طرح‌های داده های بزرگ بیشتر بنگاه‌های بزرگ هستند، ولی عمدتا به عنوان یک استراتژی سنتی. دلیل آن این است که توازن در حال سوق یافتن به این سمت است که بنگاه‌ها بخش بیشتری از دارایی‌های داده‌های بزرگ خود را به ابرهای عمومی اختصاص می‌دهند. فروشندگان سنتی داده‌های بزرگ در حال بهینه‌سازی محصولاتشان برای موارد استفاده ترکیبی هستند. 

• همگرایی انباری داده‌های بزرگ مبتنی بر ابر در حال سرعت بخشیدن به نسبت زمان به ارزش سازمانی است. کاربران به تدریج در حال شتاب بخشیدن به تثبیت دارایی‌های داده‌های بزرگ انبار شده شان در ابرهای عمومی هستند. افزایش سلطه ارائه دهندگان ابر عمومی در حال نابودسازی انبارهای بین کسب و کاریی است که تا پیش از این دردسری برای معماری‌های داده‌های خصوصی سازمان‌ها بودند. با همین میزان از اهمیت، راهکارهای داده‌های بزرگ، هم مبتنی بر ابر و هم به صورت استقرار در محل، در حال همگرایی به سمت محصولات یکپارچه ای هستند که برای کاهش پیچیدگی و تسریع زمان به ارزش طراحی شده‌اند. تعداد فزاینده‌ای از ارائه دهندگان راهکارها به ارائه APIهای استانداردسازی شده برای ساده‌سازی دسترسی، تسریع توسعه، و فراهم‌سازی مدیریت جامع‌تری بر روی پشته‌های راهکار داده‌های بزرگشان مشغول شده‌اند. 

• استارتاپ‌های نوآور داده های بزرگ به طرز فزاینده ای در حال ارائه اپلیکیشنهای مجهز به هوش مصنوعی به بازار هستند. ارائه دهندگان مبتکر اپلیکیشن‌ها مغشوش نمودن چش انداز رقابتی داده های های بزرگ با راهکارهای مبتنی بر هوش مصنوعی را آغاز نموده اند. تهدید ناشی از تازه واردان به بازار در همه بخشهای داده های بزرگ روندی شتابنده داشته، و بیشتر نوآوریها در حال طراحی برای استفاده در ابرهای عمومی یا هیبریدی هستند. بسیاری از استارتاپهای جدید دیتابیس، پردازش استریم و علوم داده ها در چند سال اخیر وارد بازار شده‌اند. 

• رویکردهای مغشوش کننده داده های بزرگ در حال تبدیل شدن به گزینه های قابل رقابتی برای پلتفرم‌های جاافتاده موجود هستند. خیلی طول نخواهد کشید که نسل جدیدی از ارائه دهندگان پلتفرم داده های بزرگ «تک شاخ (unicorn)» بر مبنای یک رویکرد نسل آینده که IoT، بلاکچین و محاسبات جریان را ترکیب نموده است ظهور خواهد یافت. تعداد بیشتری از این پلتفرمهای نسل بعدی داده های بزرگ برای مدیریت پایپلاینهای یادگیری ماشین، یادگیری عمیق، و AI بهینه سازی خواهند شد. همچنین، پلتفرمهای داده های بزرگ در حال معماری شدن برای میکروسرویسهای AI برای ابزارهای مرتبط کننده هستند. 

• هدوپ در حال تبدیل شدن به تکه ای از پازل داده های بزرگ است. ما در حال مشاهده علائمی هستیم که نگاه بازار به هدوپ بیشتر از آنکه یک پلتفرم استراتژیک برای اپلیکیشن‌های تجاری مغشوش کننده باشد یک تکنولوژی قدیمی داده های بزرگ است. با این وجود، هدوپ یک تکنولوژی بالغ است که در سازمانهای IT بسیاری از استفاده کنندگان کاربرد وسیعی برای موارد استفاده کلیدی (همچون پالایش اطلاعات ساختارنیافته) دارد. با در نظر گرفتن آن چشم انداز بلندمدت، شرکتها به ارتقاء محصولاتشان از طریق مهندسی تعامل متقابل روانتر در میان اجزای سخت‌افزاری و نرم‌افزاری مستقلا توسعه داده شده ادامه می‌دهند. 

• کاربران به طرز فزاینده‌ای در حال ترکیب و تطابق‌دهی ساختارهای داده‌های بزرگی که چند فروشنده دارند در اکوسیستم‌های باز هستند. فروشندگان داده‌های بزرگی که راهکارهایی را ارائه دهند که اجزاء اختصاصی، غیراستاندارد یا غیر منبع باز را تلفیق نمایند رو به کاهش هستند. مشتریان در حال بهره‌برداری از بازار بسیار رقابتی امروز برای استخراج ارتقاهای مداوم از شرکتهای ارائه دهنده داده های بزرگ هستند. این شرکت‌ا نیز، به نوبه خود، در حال تقسیم نمودن ابزارهایشان به معماریهای مدولاری هستند که در آنها مشتریان می توانند اجزاء را در سطوح کارکردی مختلف تعویض کنند. این بهترین رویکرد برای فروشندگانی است که خواهان دستیابی به سهمی پایدار در بازارهای امروزی هستند که دیگر جای باثباتی برای راهکارهای full-stack وجود ندارد. 

• دیتابیس‌ها در حال تجدید ساختار با رویکردهای نوآورانه هستند. از یک نظرگاه معماری، دیتابیس به معنای سنتی آن رو به محو شدن است. ما در حال حرکت به سمت آینده ای هستیم که در آن زیرساختهای تجزیه و تحلیل داده های بزرگ استریمینگ، درون حافظه ای و بدون سرور حکمفرما خواهند بود. شرکتها در تلاشند تا راههای جدیدی را برای معماری مجدد قابلیتهای محوری دیتابیس برای چاره جویی درباره الزامات نوظهوری همچون پایپلاینهای یادگیری ماشینی خودکارسازی شده و تجزیه و تحلیل IoT شناختی edge-facing بیابند. در این تکامل، دیتابیسهای اپلیکیشن و تحلیلی در حال همگرا شدن به عنوان قابلیتهای تحلیلی تعاملی عملکرد بالاتری در همه انواع پلتفرمهای داده ها هستند. همچنین، موتور ذخیره سازی دیتابیس در حال تبدیل شدن به مخزنی، ابتدائا برای داده های ماشینی، است که از طریق ساختارهای جایگزینی همچون شاخصهای ارزش کلیدی و طرحهای شیئی قابل چاره‌جویی است. 

• زنجیره های ابزار علوم داده‌ها به طرز فزاینده ای در حال خودکارسازی پایپلاین devops سرتاسر هستند. برنامه نویسی تقویت شده با داده های بزرگ به تدریج رو به پیچیده تر شدن خواهد رفت. توسعه دهندگان به طیف در حال رشدی از ابزارهای devops برای خودکارسازی کارهای مختلف در توسعه، استقرار و مدیریت یادگیری ماشینی، یادگیری عمیق و دیگر داراییهای AI دسترسی یافته اند. طیف در حال رشدی از این راهکارها حتی از الگوریتمهای یادگیری ماشینی تخصصی برای استخراج کارکردهای توسعه یادگیری ماشینیی همچون تنظیم هایپرپارامتری (hyperparameter tuning) استفاده نموده‌اند. 

• اپلیکیشن‌های تجزیه و تحلیل داده های بزرگ بسته بندی شده به شکل وسیع‌تری قابل دسترسی می شوند. در طی دهه پیش رو، کاربران بیشتری راهکارهای تجزیه و تحلیل داده های بزرگ را به عنوان سرویسهای ابری پیش ساخته، پیش اموزش دیده و قالب‌بندی شده مورد استفاده قرار خواهند داد. تعداد بیشتری از این سرویسها یادگیری ماشینی، یادگیری عمیق و مدلهای AI خود را برای ارائه پیوسته نتایج بهینه تجاری تطابق داده و هماهنگ می کنند. و تعداد بیشتری از این سرویسها دربرگیرنده مدلهای پیش آموزش داده شده ای خواهند شد که می توانند به سرعت تغییر یافته و به نیازهای خاصشان بسط یابند.

 
موانع پیش روی تکامل و بکارگیری تحلیل داده های بزرگ
اگرچه این پیشبینی درباره بهره گیری از تجزیه و تحلیل داده های بزرگ خوشبینانه به نظر می رسد، ولی مسائل تدام یافته بسیاری باقی می مانند که تلاشهای کاربران برای حداکثرسازی ارزش سرمایه گذاریهایشان در این تکنولوژیها را بی نتیجه باقی می گذارند. عمده این مسائل عبارتند از:

• پیچیدگی مفرط. محیطها و اپلیکیشنهای تجزیه و تحلیل داده های بزرگ همچنان بیش از حد پیچیده هستند. لازم خواهد بود که فروشندگان به ساده سازی رابطها، معماریها، قابلیتها و ابزارهای این محیطها ادامه دهند. چنین کاری باعث خواهد شد تا قابلیتهای پیچیده تجزیه و تحلیل داده های داده های بزرگ در دسترس کاربران و توسعه دهندگان اصلی قرار بگیرند که بسیاری از آنها از وجود کارکنان داخلی IT که دارای مهارتهای تخصصی لازم باشند بی‌بهره‌اند. 

• بالاسری طاقت فرسا. مدیریت تجزیه و تحلیل داده های بزرگ و فرایندهای حاکمیتی همچنان برای بسیاری از متخصصان IT بیش از حد سیلویی، پرهزینه و ناکارا هستند. شرکتهای فروشنده نیاز به ساخت گردش کارهای پیش بسته بندی شده ای هستند که به تیمهای بزرگ با پرسنل متخصص برای مدیریت داده ها، ابرداده ها، تجزیه و تحلیلف و تعاریف سرویس به شکلی کاراتر، سریعتر و دقیقتر کمک نمایند. 

• پایپلاینهای دنباله دار. پایپلاینهای توسعه و عملیاتیسازی اپلیکیشنهای تجزیه و تحلیل داده های بزرگ همچنان بیش از حد زمانبر و دستی هستند. لازم خواهد بود که شرکتهای فروشنده قابلیتهای اتوماسیون ابزارهایشان را پرسرعت تر کنند تا از تقویت بهره وری کارکنان فنی کاربران و، در عین حال، هندلینگ پیوسته وظایف پیچیده حتی توسط پرسنل کم مهارت اطمینان حاصل شود. 

• اپلیکیشن‌های اختصاصی. سرویسهای حرفه ای تجزیه و تحلیل داده های بزرگ همچنان نقشی اساسی در توسعه، استقرار و مدیریت بسیاری از اپلیکیشنهای سفارشی ایفا می کنند. این به طور خاص برای اپلیکیشنهای داده محوری صدق می کند که ابرهای هیبریدی را پوشش می دهند، دربرگیرنده پلتفرمها و ابزارهای ناهمگونی هستند، و فرایندهای داده های بسیار پیچیده ای را شامل می شوند. شرکتهای فروشنده باید محتوای اپلیکیشن آماده برای اپلیکیشنهای معمول تجزیه و تحلیل داده های بزرگ را تقویت نمایند و در عین حال به کاربران ابزارهای بصری سلف سرویس برای مشخصسازی منطق کسب و کار پیچیده بدون کمک خارجی بدهند.

 
برای IT سازمانی، توصیه اصلی ویکیبون این است که مهاجرت مقدار بیشتری از تلاشهای توسعه تجزیه و تحلیل داده های بزرگتان به محیطهای ابر عمومی اغاز کنید. این باعث تسریع افزایش توانایی شما برای بهره برداری از محصولات ارزانقیمت و به سرعت در حال تکاملی خواهند شد که توسط Web Services آمازون، مایکروسافت، گوگل، IBM و دیگر ارائه دهندگان ابر عمومی فراهمسازی شده اند. شما باید ایجاد ابر هیبریدی سازمانی خودتان را در نظر داشته باشید تا از یک گذار نرم به ابر عمومی در طی چند سال آینده اطمینان حاصل شود.

منبع : ایتنا