Big data چیست؟

بیگ دیتا به زبان ساده یعنی دیتای حجیم و پیچیده که با سرعت زیاد تولید می‌شود و تحلیل آن با روش‌های سنتی سخت و یا غیرممکن است.

بیگ دیتا یعنی به دست آوردن اطلاعات کاربردی و قابل فهم و قابل پیاده سازی از اطلاعات خامی که به طور مجزا ساختار و معنی و مفهوم خاصی ندارند و قابل استفاده نیستند، بیگ دیتا نام دارد. بیگ دیتا یعنی تحلیل کلان داده. حال ببینیم کلان داده یا داده های حجیم چیست. کلان داده یعنی تمام دیتا و اطلاعاتی که در یک سازمان و شرکت وجود دارد و اصولا دارای سه ویژگی مهم است: حجم زیاد، سرعت تولید بالا، تنوع زیاد. با وجود این ویژگی‌ها باید از راهکار و شیوه‌هایی برای تحلیل استفاده کرد که هزینه مناسبی داشته باشد و از نتایج پردازش آن بتوان برای بهبود در زمینه‌های مختلف سازمانی مثل بینش و اتوماسیون و تصمیم گیری و مدیریت استفاده کرد.

در مدل ۳v بیگ دیتا، دیتاها دارای سه ویژگی حجم زیاد (volume)، سرعت تولید بالا (velocity)، تنوع زیاد (variety) هستند. چنین حجم از دیتا را نمی‌توان با ابزارهای معمولی و ستنی پردازش و تحلیل کرد و باید در زمانی بهینه بتوان از این اطلاعاتِ بدون ساختار و ناقص، نتایجی به دست آورد و بتوان از این اطلاعات استفاده مفید برد.

در مدل ۵v کلان داده، علاوه بر سه ویژگی قبلی، دو ویژگی ارزش (Value) و صحت (Veracity) هم مورد توجه است و نشانگر آن است که ارزش دیتا و درستی دیتا مار را به تحلیل درست‌تر هدایت می‌کند وگرنه بدون ارزشمندی و درستی، به بیراهه خواهیم رفت.

تحلیل کلان داده ها در سیستم ها و ابزارهای سنتی مثل دیتابیس، نه تنها هزینه زیادی برای ذخیره لازم دارد بلکه زمان زیادی هم برای تحلیل لازم است که در عمل راهکاری ناکارآمد است. اما اگر دیتای خام جمع‌آوری شده، ورودی‌های یادگیری ماشین و هوش مصنوعی باشند، با استفاده از الگوریتم‌های پیچیده می‌توان الگوهای تکرارشونده‌ای را از بین این دیتاها پیدا کرد و فقط لازم است این خروجی را تحلیل کنیم.

از مزایای بیگ دیتا و تحلیل کلان داده این است که:

1. جواب‌های کامل‌تری دارید چون اطلاعات بیشتری دارید. و هر چه جواب‌های کامل‌‌تری داشته باشید راحت‌تر می‌توانید مشکلات را حل کنید.
2. افزایش فروش: ۴۴ درصد از کسب‌وکارهای کوچک که از ابزارهای تحلیل داده استفاده می‌کنند، افزایش فروش را گزارش کرده‌اند.
3. مدیریت ساده‌تر داده: شرکت‌هایی که از تحلیل داده استفاده می‌کنند، تصمیم‌های تجاری خود را ۵ برابر سریعتر انجام می‌دهند.

مهمترین قسمت تحلیل داده، گرفتن داده، تشخیص داده درست، تروتمیز کردن داده (Data Cleaning) و قرار دادن آن در جای مناسب است. Data Cleaning در واقع به پروسه تشخیص و تصحیح و حتی حذف قسمت‌های خراب یا غیردقیق از رکوردها، جدول‌ها و دیتابیس است تا بخش‌های ناصحیح، ناکارآمد و نامرتبط با داده حذف شود. در نتیجه داده‌های Dirty، جایگزین، اصلاح و یا حذف می‌شوند و در نهایت چنین داده‌هایی را می‌توان تحلیل کرد. Dirty Data یعنی داده‌های ثبت شده در دیتابیس که دارای خطا هستند که دلایل متفاوتی دارد مثلا داده‌های منقضی شده یا ناقص، فیلدهای نامناسب و وجود Duplicate در داده‌های ثبت شده. متخصصین علم داده، ۶۰ درصد وقت خود را صرف تمیزکاری و برچسب‌زنی به داده‌ها (Cleaning and Labeling Data) می‌کنند.

تاریخچه کلان داده

مفهوم بیگ دیتا مفهوم جدیدی است اما اولین مجموعه دیتاهای بزرگ در دهه ۶۰ و ۷۰ میلادی مطرح بودند. درست زمانی که دیتا تازه داشت کارش را در دنیا شروع می‌کرد و اولین دیتاسنترها و دیتابیس‌ها در حال شکل‌گیری بود.

مفهوم بیگ دیتا در اوایل قرن ۲۱ و معرفی مدل ۳V مطرح شد. حدود سال ۲۰۰۵ بود حجم زیادی دیتا توسط مردم در فیس بوک و یوتیوب و دیگر سرویس‌ها در حال تولید بود. Hadoop (برنامه متن بازی که با هدف ذخیره و تحلیل بیگ دیتا به وجود آمد) هم در همین سال توسعه یافت و NoSQL در همین زمان محبوبیت پیدا کرد.

توسعه برنامه‌های متن بازی مانند Apache Hadoop و Apache Spark (ارایه شده در سال ۲۰۱۴)، از جمله ابزارهای تحلیل بیگ دیتا هستند که نقطه عطفی در رشد بیگ دیتا بودند و باعث شدند کار با بیگ دیتا راحت‌تر و ذخیره آن کم‌هزینه‌تر شود. حالا دیگر فقط انسان‌ها نبودند که روی تحلیل دیتاهایی که هر روز بیشتر و بیشتر تولید می‌شدند کار می‌کردند. هم اکنون استفاده ترکیبی از این دو ابزار تحلیل بیگ دیتا بهترین راهکار است .

ظهور اینترنت اشیا که باعث اتصال اشیای بیشتر به هم از طریق اینترنت شد حجم دیتای تولیدی را بیشتر افزایش داد. و در این حین، پردازش رایانش ابری – Cloud Computing وارد میدان شد و قابلیت‌های بیگ دیتا را توسعه داد.

Predictive Analytics چیست؟

Predictive Analytics در مبحث کلان داده‌ها، صنعت بزرگی است و شرکت‌ها از اطلاعات حاصل از آن استفاده می‌کنند که خود چند مرحله دارد:

1. جمع‌آوری دادها: جمع‌آوری و آماده‌سازی داده‌ها از منابع گوناگون برای تحلیل
2. تحلیل داده‌ها: فرایند بررسی، شفاف‌سازی و مدل‌سازی داده‌ها
3. آمار: استفاده از تکنیک‌ها و مدل‌های آماری برای تایید فرضیه‌ها با هدف کشف اطلاعات مفید و نتیجه‌گیری
4. مدل‌های قابل پیش‌بینی: آماده‌سازی مدل‌های قابل پیش‌بینی برای پیش‌بینی رفتارهای آینده مشتری
5. اجرای مدل‌های قابل پیش‌بینی: گزینه‌ای برای تصمیم‌گیری روزانه درباره نتیجه‌گیری، تهیه گزارش‌ها و نتایج و خودکارسازی تصمیم‌ها براساس مدل‌سازی آماده می‌کند.

از طرفی، Predictive Analytics شامل فنون اجرایی تحلیل آماری، پرسش‌های تحلیلی و الگوریتم‌های خودکار است و قابلیت‌های آنالیز و تحلیل پیشرفته را که شامل موارد زیر است، در کنار هم جمع می‌کند:

1. ad-hoc statistical analysis
2. predictive modeling
3. data mining
4. text analytics
5. optimization
6. real-time scoring
7. Machine Learning Predictive Analytics

کاربردهای بیگ دیتا

همان طور که گفتیم تحلیل کلان داده و بیگ دیتا عمر زیادی ندارد و دوران جوانی خود را سپری می‌کند اما توانسته در جای جای زندگی ما تاثیرات مهمی بگذارد. از جمله کاربردهای بیگ دیتا در موارد زیر:

• سلامت و پزشکی
• رسانه و تلویزیون
• صنعت بیمه
• برنامه های مسیریابی مانند Waze و Google Maps
• رفتارشناسی در شبکه های اجتماعی
• بانکداری
• پیش بینی وضعیت هوا
• بورس و اقتصاد
• بازاریابی و دیجیتال مارکتینگ
• سیستم های توصیه کنند – Recommendation Engins
• مدیریت ارتباط با مشتری – CRM
• آموزش
• شناسایی مجرمان و تبهکاران و تامین امنیت
• کشاورزی
• راهنمایی و رانندگی
• شبکه و ارتباطات

کاربرد بیگ دیتا در بازاریابی

کاربرد بیگ دیتا در بازاریابی و دیجیتال مارکتینگ به این صورت است که با شناخت مشتریان و بررسی نظر شخصی آنها پرسونای خود را تعریف می‌کنیم و بدین ترتیب متناسب با پرسونای برند خود کمپین‌های تبلیغاتی را طراحی و اجرا می‌کنیم در نهایت صرفه‌جویی در هزینه ودرآمد بیشتر نصیب ما خواهد شد.

در طراحی پرسونا استفاده از بیگ دیتا می‌تواند مواردی مانند نقاط قوت و نقاط ضعف، نیاز به ارتقای خدمات و محصولات، معرفی فرصت تجاری جدید را به شما نشان دهد. حال اگر با توجه به دیتایی که از رفتار مشتری دارید مثلا روی چه مطلبی کلیک کرده یا برایش جذاب است یا کدامیک به کارش نمی‌آید، کجا زندگی می‌کند، چه سابقه خریدی دارد و هزاران نکته دیگر می‌توانید دقیقا آنچه مورد نیاز اوست را برایش تبلیغ کنید و فرد دقیقا همان زمانی که به محصول و خدمات شما نیاز دارد این تبلیغ را دریافت می‌کند و احتمال تبدیل شدن او به مشتری و سپس مشتری وفادار بالا خواهد رفت.

در کمپین‌های تبلیغاتی توجه به سه نکته مهم است: چه کسی، چه زمانی و چه چیزی. با تحلیل بیگ دیتا می‌توانید چندین تبلیغ را برای افراد مختلف و در زمان‌های مختلف و با محتواهای مختلف آماده کنید. در این صورت دایره هدف شما گسترش می‌یابد و درصد موفقیت در تبلیغات بسیار بالا می‌رود. با استفاده از تحلیل کلان داده در بازاریابی نه تنها هزینه هدفمندی انجام می‌دهید بلکه نرخ تبدیل به مشتری و در پی آن افزایش درآمد حاصل می‌شود.

از جمله مزایای کاربرد بیگ دیتا در بانداری به شرح زیر است:

1. مدیریت ریسک برای کاهش میزان کلاهبرداری و خطا در زمینه تروریسم و فعالیت‌ها جامعه ستیزی
2. مبارزه با پول شویی
3. دارای الگوریتم تشخیص کلاهبرداری است و به مشتریانی که اعتبار کمی دارند تسهیلات تعلق نمی‌گیرد.
4. ابزارهای هوش تجاری قابلیت تشخیص ریسک های بالقوه را دارد.
5. امکان آنالیز ترندهای بازار
6. امکان حل مشکلات به صورت بلادرنگ در شعبات بانک ها
7. مانیتورینگ دقیق شعبه با نظارت بر کارایی کارمندان و نیازهای مشتریان و …
8. افزایش کارایی کلی سیستم
9. ارایه راهکارهای شخصی سازی شده برای مشتریان

بیگ دیتا در بورس

کاربرد بیگ دیتا در بورس از این جهت حایز اهمیت است که با بررسی و تحلیل رفتار بازار می‌تواند آینده بازار را پیش بینی کند و سود زیادی برای سرمایه گذاران به ارمغان آورد. همچنین امکان تشخیص تقلب و شفافیت در معاملات بورس را به همراه دارد و بدین ترتیب رضایت مشتریان و مدیریت ریسک حاصل می‌شود. ابزارهای زیادی در زمینه تحلیل بازار بورس در دسترس شما قرار دارد که با آموختن طریقه کار با آن می‌توانید معاملات مطمئن‌تری انجام دهید.

بیگ دیتا در ایران

جای پای تحلیل کلان داده در تمام عرصه‌های زندگی در ایران خالی است. با وجود کم و کسری‌های زیرساختی و نبود متخصصین به میزان کافی ایران را باچالش استفاده از بیگ دیتا مواجه کرده است. جمع‌آوری اطلاعات از منابع مختلف و تمیزکاری دیتا و دیگر مراحل تحلیل بیگ دیتا، نیازمند پیش زمینه‌هایی چون قانونگذاری، حمایت از داده های شخصی کاربران، رعایت حریم خصوصی، آموزش متخصصین، تامین سخت افزارها و نرم افزارهای موردنیاز، توسعه پلتفرم های بیگ دیتا است. لذا با وجود فعالیت‌های برخی شرکت های ایرانی در زمینه بیگ دیتا باز هم آن طور که باید و شاید از این تکنولوژی استفاده نمی‌شود.

کاربرد بیگ دیتا در کسب‌وکارهای کوچک و متوسط

وقتی صحبت از بیگ دیتا به میان می‌آید، کسب‌وکارهای کوچک و متوسط، ممکن است تصور کنند که این حوزه به درد آنها نمی‌خورد چرا که طبق تعریف بیگ دیتا، بیگ دیتا به حجم زیادی از داده اطلاق می‌شود که درون دیتابیس‌های بزرگی جای دارند که SMBها هرگز چنین دیتابیسی را تجربه نخواهند کرد. زیرا اگر داده‌ها زیاد هم باشد اما کسب‌و کار، بزرگ نیست! پس آیا این تکنولوژی مناسب چنین کسب‌و کارهایی نیست؟

نتیجه‌ای که بیگ دیتا در تحلیل‌ها عاید ما می‌کند پروسه یافتن ترندها و الگوها است. اما این نتیجه چه نقشی در SMBها می‌تواند بازی کند؟ آنچه مسلم است این است که داده‌ها برای اینکه بینش تجاری ما مشخص کنند، نیازی نیست بزرگ باشند! راه‌های متفاوتی برای SMBها وجود دارد تا داده‌ها را جمع‌آوری، ذخیره و استفاده کنند.

مثلا بینش تجاری ما می‌تواند شامل عملیات درون سازمانی، رفتار مشتریان، اثرگذاری کمپین‌ها و فرصت‌های تجاری بازار باشد. شناسایی مشتریان، علایق مشتریان و کمبودهای بازار هم می‌تواند مورد توجه باشد. اما داشتن داده به معنای این که بتوانیم از آنها استفاده کنیم نیست. پس نوع داده‌هایی که ذخیره می‌کنیم، نیز مهم است.

مزایای تحلیل داده‌ها برای SMBها بسیار مهم است چرا که باعث تصمیم‌گیری‌های دقیق‌تر می‌شود و امکان بررسی اثرات این تصمیم‌ها وجود دارد پس داده‌ها برای اینکه بر کسب‌وکار شما تاثیرگذار باشند، نیازی ندارند بیگ و بزرگ باشند.

یکی از ابزارهای ساده و بدون‌ کدنویسی در زمینه کسبو کارهای کوچک ابزار رپیدماینر – RapidMiner و IBM SPSS Modeler و Knime و Orange و SAS است.این ابزارهای با آنالیز مشتری و پیش بینی کالا و خدمات مورد نیاز او و پیشنهاد قیمت مناسب شما را در کسب درآمد بیشتر یاری می‌کنند.