டைரூவில் கோர் ஜாவாவில் பகுப்பாய்வு அமைப்புகளை உருவாக்குதல்: இந்தியாவில் விளம்பர தொழில்நுட்பத்தை புரட்சிகரமாக்குதல்

2010களின் ஆரம்பத்தில், இந்தியாவில் டிஜிட்டல் விளம்பரம் வேகம் பெற்று வரும் போது, அந்த நேரத்தில் நாட்டின் மிகப்பெரிய விளம்பர தொழில்நுட்ப நிறுவனமான டைரூவில் பணியாற்றும் வாய்ப்பு எனக்குக் கிடைத்தது. ஒரு மென்பொருள் பொறியாளராக, பிராந்தியத்தில் தரவு சார்ந்த விளம்பரத்தின் எதிர்காலத்தை வடிவமைக்கும் பகுப்பாய்வு அமைப்புகளை உருவாக்குவதில் எனது பங்கு முக்கியமானதாக இருந்தது.

டைரூவின் பார்வை #

பிரச்சார செயல்திறன், பயனர் நடத்தை மற்றும் ROI பற்றிய ஆழமான நுண்ணறிவுகளை விளம்பரதாரர்கள் மற்றும் பதிப்பாளர்களுக்கு வழங்குவதை டைரூ நோக்கமாகக் கொண்டிருந்தது. பெரும் அளவிலான விளம்பரத் தரவுகளை நிகழ்நேரத்தில் செயலாக்கக்கூடிய வலுவான, அளவிடக்கூடிய பகுப்பாய்வு அமைப்புகளை உருவாக்குவதே எங்கள் இலக்காக இருந்தது.

தொழில்நுட்ப சவால்கள் மற்றும் தீர்வுகள் #

பெரிய தரவுகளைக் கையாளுதல் #

விளம்பரத் தரவுகளின் வெறும் அளவே எங்களின் முதன்மையான சவாலாக இருந்தது. நாங்கள் தினமும் பில்லியன் கணக்கான விளம்பர பதிவுகள், கிளிக்குகள் மற்றும் மாற்றங்களைச் செயலாக்க வேண்டியிருந்தது.

தீர்வு: பரவலாக்கப்பட்ட செயலாக்க அமைப்பை உருவாக்க கோர் ஜாவாவின் திறனைப் பயன்படுத்தினோம். பரவலாக்கப்பட்ட சேமிப்பு மற்றும் செயலாக்கத்திற்கான Apache Hadoop போன்ற தொழில்நுட்பங்களைப் பயன்படுத்தி, டெராபைட்கள் தரவைக் கையாளக்கூடிய அளவிடக்கூடிய உள்கட்டமைப்பை உருவாக்கினோம்.

நிகழ்நேர பகுப்பாய்வு #

விளம்பரதாரர்களுக்கு தங்கள் பிரச்சாரங்களை திறம்பட மேம்படுத்த நிமிடத்திற்கு நிமிடம் நுண்ணறிவுகள் தேவைப்பட்டன.

தீர்வு: தடுக்காத I/O செயல்பாடுகளுக்கான Java NIO (புதிய I/O) ஐப் பயன்படுத்தி நிகழ்நேர பகுப்பாய்வு இயந்திரத்தை உருவாக்கினோம். இது உள்வரும் தரவு ஸ்ட்ரீம்களை திறமையாகச் செயலாக்க அனுமதித்தது, எங்கள் பகுப்பாய்வு டாஷ்போர்டுகளுக்கு கிட்டத்தட்ட நிகழ்நேர புதுப்பிப்புகளை வழங்கியது.

சிக்கலான வினவல் செயலாக்கம் #

விளம்பரதாரர்கள் பெரும்பாலும் பெரிய தரவுத் தொகுப்புகளில் சிக்கலான, பல பரிமாண வினவல்களை இயக்க வேண்டியிருந்தது.

தீர்வு: எங்கள் விளம்பரத் தரவின் குறிப்பிட்ட கட்டமைப்பிற்காக உகந்ததாக்கப்பட்ட தனிப்பயன் வினவல் இயந்திரத்தை ஜாவாவைப் பயன்படுத்தி செயல்படுத்தினோம். இந்த இயந்திரம் விரைவான வினவல் முடிவுகளை வழங்க மேம்பட்ட குறியீட்டு நுட்பங்கள் மற்றும் நினைவக கேச்சிங்கைப் பயன்படுத்தியது.

அளவிடக்கூடிய தன்மை மற்றும் செயல்திறன் #

டைரூவின் வாடிக்கையாளர் தளம் வளர்ந்தபோது, எங்கள் அமைப்புகள் தடையின்றி அளவிட வேண்டியிருந்தது.

தீர்வு: கிடைமட்ட அளவிடக்கூடிய தன்மையை மனதில் கொண்டு எங்கள் பயன்பாடுகளை வடிவமைத்தோம். ஜாவாவின் ஒத்திசைவு பயன்பாடுகளைப் பயன்படுத்தி, பல கோர் செயலிகளை திறமையாகப் பயன்படுத்தக்கூடிய மற்றும் பல சேவையகங்களில் எளிதாகப் பரவலாக்கப்படக்கூடிய அமைப்புகளை உருவாக்கினோம்.

உருவாக்கப்பட்ட முக்கிய அம்சங்கள் #

1. நிகழ்நேர டாஷ்போர்டு: விளம்பர பிரச்சார செயல்திறனை நிகழ்நேரத்தில் கண்காணிப்பதற்கான Java Swing அடிப்படையிலான டெஸ்க்டாப் பயன்பாடு.

2. கணிப்பு பகுப்பாய்வு: பிரச்சார செயல்திறனைக் கணிக்க மற்றும் மேம்பாடுகளை பரிந்துரைக்க ஜாவாவில் இயந்திர கற்றல் அல்காரிதம்களை செயல்படுத்துதல்.

3. மோசடி கண்டறிதல் அமைப்பு: சாத்தியமான மோசடியான விளம்பர நடவடிக்கைகளை அடையாளம் காண மற்றும் கொடியிட புள்ளிவிவர பகுப்பாய்வைப் பயன்படுத்தும் நுட்பமான அமைப்பு.

4. தனிப்பயன் அறிக்கையிடல் இயந்திரம்: இழுத்து விடும் எளிமையுடன் தனிப்பயன் அறிக்கைகளை உருவாக்க விளம்பரதாரர்களை அனுமதிக்கும் நெகிழ்வான அறிக்கையிடல் அமைப்பு.

சமாளித்த சவால்கள் #

சவால்: தரவு துல்லியம் #

மில்லியன் கணக்கான பரிவர்த்தனைகளில் தரவின் துல்லியத்தை உறுதி செய்வது வாடிக்கையாளர் நம்பிக்கையைப் பராமரிப்பதற்கு முக்கியமானதாக இருந்தது.

தீர்வு: செயலாக்க பைப்லைனின் ஒவ்வொரு படியிலும் தரவு ஒருமைப்பாட்டை உறுதி செய்ய ஜாவாவின் வலுவான டைப்பிங் மற்றும் தனிப்பயன் சரிபார்ப்பு அல்காரிதம்களைப் பயன்படுத்தி பல அடுக்கு சரிபார்ப்பு அமைப்பை செயல்படுத்தினோம்.

சவால்: அமைப்பு தாமதம் #

தரவு அளவுகள் அதிகரித்தபோது, குறைந்த தாமதத்தைப் பராமரிப்பது மேலும் கடினமாகியது.

தீர்வு: எங்கள் ஜாவா குறியீட்டை கடுமையாக உகந்ததாக்கினோம், நெரிசல்களை அடையாளம் காண மற்றும் நீக்க சுயவிவரப்படுத்தல் கருவிகளைப் பயன்படுத்தினோம். அடிக்கடி அணுகப்படும் தரவுக்கான தரவுத்தள சுமையைக் குறைக்க Ehcache ஐப் பயன்படுத்தி ஒரு கேச்சிங் அடுக்கையும் செயல்படுத்தினோம்.

சவால்: பல விளம்பர நெட்வொர்க்குகளுடன் ஒருங்கிணைப்பு #

டைரூ பல்வேறு விளம்பர நெட்வொர்க்குகளுடன் ஒருங்கிணைக்க வேண்டியிருந்தது, ஒவ்வொன்றும் அதன் சொந்த தரவு வடிவம் மற்றும் API களைக் கொண்டிருந்தது.

தீர்வு: குறைந்தபட்ச குறியீடு மாற்றங்களுடன் புதிய விளம்பர நெட்வொர்க்குகளை எளிதாக ஒருங்கிணைக்க அனுமதிக்கும் நெகிழ்வான அடாப்டர் அமைப்பை ஜாவாவில் உருவாக்கினோம். இந்த அமைப்பு வெவ்வேறு மூலங்களிலிருந்து தரவைக் கையாளுவதற்