Big Data

பெருந்தகவு (Big Data) - ஒரு அறிமுகம்

அறிமுகம்

பெருந்தகவு (Big Data) என்பது, பாரம்பரிய தரவு செயலாக்க பயன்பாடுகளால் கையாள முடியாத அளவுக்கு பெரிய, சிக்கலான தரவுத் தொகுப்புகளைக் குறிக்கிறது. இந்தத் தரவுத் தொகுப்புகள் வேகமாக வளர்ந்து வருகின்றன, மேலும் அவை பல்வேறு துறைகளில் புரட்சியை ஏற்படுத்துகின்றன. பைனரி ஆப்ஷன் பரிவர்த்தனைகள் உட்பட அனைத்து துறைகளிலும் தரவு பகுப்பாய்வு முக்கியத்துவம் பெறுகிறது. தரவு அளவின் அதிகரிப்பு, தரவின் வேகம் (velocity), தரவின் பல்வேறு தன்மை (variety), மற்றும் தரவின் நம்பகத்தன்மை (veracity) ஆகிய நான்கு முக்கிய பண்புகளை பெருந்தகவு கொண்டுள்ளது. இந்த நான்கு பண்புகளும் “4V” என அழைக்கப்படுகின்றன.

பெருந்தகவின் பண்புகள்

அளவு (Volume): பெருந்தகவு என்பது மிகப்பெரிய அளவிலான தரவைக் குறிக்கிறது. டெராபைட் (Terabyte) முதல் பெட்டாபைட் (Petabyte) மற்றும் எக்ஸாபைட் (Exabyte) வரையிலான தரவுகள் இதில் அடங்கும்.
வேகம் (Velocity): தரவு உருவாக்கப்படும் மற்றும் செயலாக்கப்படும் வேகத்தை இது குறிக்கிறது. நிகழ்நேர தரவு ஸ்ட்ரீமிங் (Real-time data streaming) மற்றும் உடனடி பகுப்பாய்வு ஆகியவை இதன் முக்கிய அம்சங்கள். தரவு ஸ்ட்ரீமிங் என்பது தொடர்ந்து உருவாகும் தரவுகளை உடனுக்குடன் கையாளுவதை உள்ளடக்கியது.
பல்வேறு தன்மை (Variety): தரவு பல்வேறு வடிவங்களில் இருக்கலாம். கட்டமைக்கப்பட்ட தரவு (Structured data), கட்டமைப்பற்ற தரவு (Unstructured data) மற்றும் அரை-கட்டமைக்கப்பட்ட தரவு (Semi-structured data) எனப் பிரிக்கலாம். கட்டமைக்கப்பட்ட தரவு என்பது அட்டவணைகள் மற்றும் தரவுத்தளங்களில் சேமிக்கப்படும் தரவு. கட்டமைப்பற்ற தரவு என்பது உரை, படங்கள், வீடியோக்கள் மற்றும் ஆடியோ போன்ற வடிவங்களில் இருக்கும் தரவு.
நம்பகத்தன்மை (Veracity): தரவின் தரம் மற்றும் துல்லியத்தை இது குறிக்கிறது. தரவில் உள்ள தவறுகள், முரண்பாடுகள் மற்றும் நிச்சயமற்ற தன்மைகள் பெருந்தகவு பகுப்பாய்வில் சவால்களை உருவாக்குகின்றன. தரவு சுத்திகரிப்பு (Data cleaning) மற்றும் தரவு சரிபார்ப்பு (Data validation) ஆகியவை இந்த சவால்களை எதிர்கொள்ள உதவும்.

பெருந்தகவு உருவாக்கம் மற்றும் ஆதாரங்கள்

பெருந்தகவு பல்வேறு ஆதாரங்களில் இருந்து உருவாகிறது. அவற்றில் சில முக்கியமான ஆதாரங்கள்:

சமூக ஊடகங்கள்: சமூக ஊடகங்கள் பயனர்களின் பதிவுகள், கருத்துகள், படங்கள் மற்றும் வீடியோக்கள் மூலம் அதிக அளவிலான தரவை உருவாக்குகின்றன.
இணையம்: இணையதளங்கள், வலைப்பதிவுகள், மன்றங்கள் மற்றும் பிற ஆன்லைன் தளங்கள் தரவு உருவாக்கத்தில் முக்கிய பங்கு வகிக்கின்றன.
சென்சார்கள்: சென்சார்கள் இயந்திரங்கள், கருவிகள் மற்றும் சுற்றுச்சூழல் அமைப்புகளில் இருந்து தரவை சேகரிக்கின்றன.
வியாபார பரிவர்த்தனைகள்: விற்பனை, கொள்முதல், மற்றும் பிற வணிக பரிவர்த்தனைகள் தரவு உருவாக்கத்தில் பங்களிக்கின்றன.
அரசு மற்றும் பொதுத் தரவு: அரசு தரவு மற்றும் பொதுத் தரவுத் தொகுப்புகள் ஆராய்ச்சி மற்றும் பகுப்பாய்வுக்கு முக்கியமான ஆதாரங்களாக உள்ளன.
மொபைல் சாதனங்கள்: மொபைல் சாதனங்கள் இருப்பிடத் தரவு, பயன்பாட்டுப் பயன்பாடு மற்றும் பிற தகவல்களை உருவாக்குகின்றன.

பெருந்தகவு தொழில்நுட்பங்கள்

பெருந்தகவைச் சேமிக்கவும், செயலாக்கவும், பகுப்பாய்வு செய்யவும் பல்வேறு தொழில்நுட்பங்கள் பயன்படுத்தப்படுகின்றன. அவற்றில் சில முக்கியமானவை:

ஹடூப் (Hadoop): இது ஒரு திறந்த மூல ஹடூப் கட்டமைப்பு, இது பெரிய தரவுத் தொகுப்புகளை விநியோகிக்கப்பட்ட முறையில் சேமித்து செயலாக்க உதவுகிறது.
ஸ்பார்க் (Spark): இது ஹடூப்பை விட வேகமான தரவு செயலாக்க இயந்திரம். ஸ்பார்க் நிகழ்நேர தரவு பகுப்பாய்வுக்கு ஏற்றது.
நோஸ்கியுஎல் (NoSQL): இது பாரம்பரிய உறவுமுறை தரவுத்தளங்களுக்கு (Relational Databases) மாற்றாகப் பயன்படுத்தப்படும் தரவுத்தளமாகும். நோஸ்கியுஎல் தரவுத்தளங்கள் பெரிய அளவிலான கட்டமைப்பற்ற தரவைச் சேமிக்க உதவுகின்றன.
கிளவுட் கம்ப்யூட்டிங் (Cloud Computing): கிளவுட் கம்ப்யூட்டிங் உள்கட்டமைப்பு மற்றும் சேவைகளை ஆன்லைனில் வழங்குகிறது, இது பெருந்தகவு செயலாக்கத்திற்கு உதவுகிறது.
தரவு ஏரிகள் (Data Lakes): இது பல்வேறு வகையான தரவுகளை அவற்றின் மூல வடிவத்தில் சேமிக்கும் ஒரு களஞ்சியமாகும். தரவு ஏரிகள் தரவு விஞ்ஞானிகளுக்கு அதிக நெகிழ்வுத்தன்மையையும், கண்டுபிடிப்புக்கான வாய்ப்புகளையும் வழங்குகின்றன.
தரவு கிடங்குகள் (Data Warehouses): இது வணிக நுண்ணறிவு மற்றும் அறிக்கையிடலுக்காக ஒருங்கிணைக்கப்பட்ட தரவைச் சேமிக்கும் ஒரு களஞ்சியமாகும். தரவு கிடங்குகள் வரலாற்றுத் தரவை பகுப்பாய்வு செய்ய உதவுகின்றன.

பெருந்தகவின் பயன்பாடுகள்

பெருந்தகவு பல்வேறு துறைகளில் பல பயன்பாடுகளைக் கொண்டுள்ளது. சில முக்கிய பயன்பாடுகள்:

சுகாதாரம்: நோய்களை முன்கூட்டியே கண்டறிதல், தனிப்பயனாக்கப்பட்ட மருத்துவம் மற்றும் சுகாதார செலவுகளைக் குறைத்தல். சுகாதாரத் தரவு பகுப்பாய்வு நோயாளிகளின் சிகிச்சை முறைகளை மேம்படுத்த உதவுகிறது.
நிதி: மோசடி கண்டறிதல், கடன் மதிப்பீடு மற்றும் முதலீட்டு உத்திகளை மேம்படுத்துதல். நிதித் தரவு பகுப்பாய்வு சந்தை போக்குகளைக் கண்டறிய உதவுகிறது.
சில்லறை வணிகம்: வாடிக்கையாளர் நடத்தை பகுப்பாய்வு, சரக்கு மேலாண்மை மற்றும் இலக்கு விளம்பரம். சில்லறை வணிகத் தரவு பகுப்பாய்வு வாடிக்கையாளர் அனுபவத்தை மேம்படுத்த உதவுகிறது.
உற்பத்தி: உற்பத்தி செயல்முறைகளை மேம்படுத்துதல், தரக் கட்டுப்பாடு மற்றும் இயந்திர பராமரிப்பு. உற்பத்தித் தரவு பகுப்பாய்வு உற்பத்தி செலவுகளைக் குறைக்க உதவுகிறது.
போக்குவரத்து: போக்குவரத்து நெரிசலைக் குறைத்தல், வழித்தடங்களை மேம்படுத்துதல் மற்றும் எரிபொருள் செயல்திறனை அதிகரித்தல். போக்குவரத்துத் தரவு பகுப்பாய்வு போக்குவரத்து அமைப்புகளை மேம்படுத்த உதவுகிறது.
சந்தைப்படுத்தல்: வாடிக்கையாளர்களைப் புரிந்துகொண்டு, அவர்களின் தேவைகளுக்கு ஏற்ப விளம்பரங்களை உருவாக்குதல். சந்தைப்படுத்தல் தரவு பகுப்பாய்வு விளம்பரங்களின் செயல்திறனை அதிகரிக்க உதவுகிறது.
பைனரி ஆப்ஷன்ஸ்: சந்தை போக்குகளை முன்கூட்டியே கணித்து, துல்லியமான வர்த்தக முடிவுகளை எடுக்க உதவுகிறது. பைனரி ஆப்ஷன்ஸ் தரவு பகுப்பாய்வு லாபத்தை அதிகரிக்க உதவுகிறது.

பைனரி ஆப்ஷன்ஸ் வர்த்தகத்தில் பெருந்தகவு

பைனரி ஆப்ஷன்ஸ் வர்த்தகத்தில் பெருந்தகவு ஒரு முக்கியமான கருவியாக உருவெடுத்துள்ளது. வரலாற்று சந்தை தரவு, நிகழ்நேர செய்தி ஊட்டங்கள், சமூக ஊடக உணர்வுகள் மற்றும் பொருளாதார குறிகாட்டிகள் போன்ற பல்வேறு ஆதாரங்களில் இருந்து பெறப்பட்ட தரவுகளை பகுப்பாய்வு செய்வதன் மூலம், வர்த்தகர்கள் அதிக லாபம் ஈட்ட முடியும்.

சந்தை முன்னறிவிப்பு: சந்தை முன்னறிவிப்பு என்பது காலவரிசை பகுப்பாய்வு (Time series analysis) மற்றும் இயந்திர கற்றல் (Machine learning) போன்ற நுட்பங்களைப் பயன்படுத்தி எதிர்கால சந்தை நகர்வுகளை கணிப்பது.
உணர்ச்சி பகுப்பாய்வு: உணர்ச்சி பகுப்பாய்வு என்பது சமூக ஊடகங்கள் மற்றும் செய்தி கட்டுரைகளில் உள்ள தரவுகளை பகுப்பாய்வு செய்து சந்தை உணர்வை மதிப்பிடுவது.
அல்காரிதமிக் வர்த்தகம்: அல்காரிதமிக் வர்த்தகம் என்பது தானியங்கி வர்த்தக உத்திகளைப் பயன்படுத்தி வர்த்தகங்களைச் செய்வது.
ஆபத்து மேலாண்மை: ஆபத்து மேலாண்மை என்பது தரவு பகுப்பாய்வு மூலம் வர்த்தக அபாயங்களை அடையாளம் கண்டு குறைப்பது.
உயர் அதிர்வெண் வர்த்தகம் (High-Frequency Trading - HFT): உயர் அதிர்வெண் வர்த்தகம் என்பது மிக வேகமான தரவு பகுப்பாய்வு மற்றும் வர்த்தகத்தை உள்ளடக்கியது.

பெருந்தகவு பகுப்பாய்வு நுட்பங்கள்

பெருந்தகவை பகுப்பாய்வு செய்ய பல்வேறு நுட்பங்கள் பயன்படுத்தப்படுகின்றன. அவற்றில் சில முக்கியமானவை:

தரவு சுரங்கம் (Data Mining): தரவுத் தொகுப்பிலிருந்து பயனுள்ள தகவல்களைக் கண்டறியும் செயல்முறை.
இயந்திர கற்றல் (Machine Learning): தரவுகளிலிருந்து தானாகவே கற்றுக்கொள்ளும் திறனைக் கொண்ட கணினி நிரல்களை உருவாக்குதல்.
புள்ளிவிவர பகுப்பாய்வு (Statistical Analysis): தரவுகளைப் புரிந்துகொள்ளவும், விளக்கமளிக்கவும், முடிவுகளை எடுக்கவும் புள்ளிவிவர முறைகளைப் பயன்படுத்துதல்.
உரை பகுப்பாய்வு (Text Analytics): உரை தரவுகளிலிருந்து நுண்ணறிவுகளைப் பிரித்தெடுக்கும் செயல்முறை.
பட பகுப்பாய்வு (Image Analytics): பட தரவுகளிலிருந்து நுண்ணறிவுகளைப் பிரித்தெடுக்கும் செயல்முறை.
நெட்வொர்க் பகுப்பாய்வு (Network Analysis): தரவுகளுக்கு இடையிலான உறவுகளைப் புரிந்துகொள்ளும் செயல்முறை.

பெருந்தகவு சவால்கள்

பெருந்தகவு பல நன்மைகளை வழங்கினாலும், சில சவால்களையும் கொண்டுள்ளது:

தரவு சேமிப்பு: பெரிய அளவிலான தரவைச் சேமிப்பது ஒரு சவாலான பணியாகும்.
தரவு செயலாக்கம்: தரவை விரைவாகவும் திறமையாகவும் செயலாக்குவது கடினம்.
தரவு பாதுகாப்பு: தரவு மீறல்கள் மற்றும் சைபர் தாக்குதல்களிலிருந்து தரவைப் பாதுகாப்பது அவசியம்.
தரவு தனியுரிமை: தனிப்பட்ட தரவைப் பாதுகாப்பதும், தனியுரிமைக் கொள்கைகளுக்கு இணங்குவதும் முக்கியம்.
திறமையான பணியாளர்கள்: பெருந்தகவு பகுப்பாய்வு திறன்களைக் கொண்ட பணியாளர்களைக் கண்டுபிடிப்பது கடினம்.

எதிர்கால போக்குகள்

பெருந்தகவு தொடர்ந்து வளர்ச்சியடைந்து வருகிறது. எதிர்காலத்தில் எதிர்பார்க்கப்படும் சில போக்குகள்:

செயற்கை நுண்ணறிவு (Artificial Intelligence - AI): செயற்கை நுண்ணறிவு பெருந்தகவு பகுப்பாய்வில் முக்கிய பங்கு வகிக்கும்.
இணையம் சார்ந்த விஷயங்கள் (Internet of Things - IoT): இணையம் சார்ந்த விஷயங்கள் அதிக அளவிலான தரவை உருவாக்கும்.
எட்ஜ் கம்ப்யூட்டிங் (Edge Computing): தரவு உருவாக்கும் இடத்திலேயே தரவைச் செயலாக்குவது.
குவாண்டம் கம்ப்யூட்டிங் (Quantum Computing): குவாண்டம் கம்ப்யூட்டிங் சிக்கலான தரவு பகுப்பாய்வு சிக்கல்களைத் தீர்க்க உதவும்.
தீர்வு காணும் தானியங்கி முறைகள் (Automated Data Discovery): தரவுகளில் மறைந்திருக்கும் தொடர்புகளை தானாகவே கண்டறியும் முறைகள்.

முடிவுரை

பெருந்தகவு என்பது இன்றைய உலகில் ஒரு தவிர்க்க முடியாத சக்தியாகும். இது பல்வேறு துறைகளில் புதிய வாய்ப்புகளை உருவாக்குகிறது மற்றும் வணிகங்கள் செயல்படும் விதத்தை மாற்றுகிறது. பைனரி ஆப்ஷன்ஸ் வர்த்தகம் உட்பட அனைத்து துறைகளிலும், பெருந்தகவு பகுப்பாய்வு திறன்களை வளர்த்துக்கொள்வது அவசியம். இந்தத் தொழில்நுட்பத்தைப் பயன்படுத்தி, நிறுவனங்கள் தங்கள் செயல்பாடுகளை மேம்படுத்தலாம், சிறந்த முடிவுகளை எடுக்கலாம் மற்றும் போட்டித்தன்மையை அதிகரிக்கலாம்.

(மொத்த டோக்கன்கள்: ஏறத்தாழ 8000)

இப்போது பரிவர்த்தனையை தொடங்குங்கள்

IQ Option-ல் பதிவு செய்யவும் (குறைந்தபட்ச டெபாசிட் $10) Pocket Option-ல் கணக்கு திறக்கவும் (குறைந்தபட்ச டெபாசிட் $5)

எங்கள் சமூகத்தில் சேருங்கள்

எங்கள் Telegram சேனலுக்கு சேர்ந்து @strategybin பெறுங்கள்: ✓ தினசரி பரிவர்த்தனை சமிக்ஞைகள் ✓ சிறப்பு உத்திகள் மற்றும் ஆலோசனைகள் ✓ சந்தை சார்ந்த அறிவிப்புகள் ✓ தொடக்க அடிப்படையிலான கல்வி பொருட்கள்