300 Млн бірегей ресурстары. Мөлшерін, біздің алдыңғы баға жасай отырып,

URIs, кестенің бір жол <сан, мәтін> шамамен 84 байт алады, сондықтан, егер

біз бұл тыйым салу болып табылады, ол Toto 24KZ Іс өтеді 300 миллион, оны көбейту

бір стандартты құрылғыға арналған сома.

MapReduce пайдаланып 4.2 Сөздік кодтау және

орталық деректер базасы

Бірінші тәсіл оны мәтiндiк үштіктің оқиды бар Hadoop тапсырмасын жазуға болар еді

нысаны, байланыс орталықтандырылған Mysql сервер байланысты бірқатар мүкіндіктер

Мәтін және айырбасталады үштіктің қайтарады. осылайша артықшылығы сол, біз болып табылады

орындау таратылады, өйткені үштік қайта қатарластыра болады

көптеген түйіндердегі бірақ проблема осы түйіндердің барлық қажет фактісі тұр

орталықтандырылған сервермен байланысу үшін. Біз қалай баға жасай аласыз

ұзақ осы байланыс процесі алады. А, бұл бір сұрауды делік

Page 29

4.3. Сөздік MAPREDUCE ПАЙДАЛАНУ кодтау және бөлінген HASHTABLE29

MySQL деректер базасын байланыс кешігу астам санау (10 мс кетуі мүмкін

Сервер жағында желі мен өңдеу уақыты). Біз 800 миллиондаған бар

үштік, сондықтан да біз 2,4 млрд сұраулар, әрбір ресурс үшін бірін қабылдауға керек. Егер

біз бұл шамамен 6,5 өтеді деп қараңыз 10 мс үшін осы санды көбейту

сағат млн. Біз астам тапсырманы бөлу есептеу қатарластыра болса

Hadoop түйіндер, біз ішіндегі тапсырманы аяқтау үшін шамамен 6,5 млн компьютер қажет

1 сағат, сервер бір мезгілде сұрау миллиондаған бола алады деп болжанса.

Біз бастапқы 10 мс-ден 1ms үшін сұрау уақытын қысқартуға, тіпті егер бұл қараңыз

көзқарас тиімсіз.

MapReduce пайдаланып 4.3 Сөздік кодтау және

бөлінген Hashtable

Орталықтандырылған сервер тар туралы мәселені шешу үшін біз талдауға болады

Кейбір бар болса, көре енгізу деректер бірегей ресурстарды жиілігі

Басқаларға қарағанда көбірек танымал URIs. Танымал URIs сигнал асып болса

біз еске ең танымал сақтау үшін кэшті пайдалануға болады елеулі басқалары

және URI қазіргі емес, тек егер деректер базасына қол жеткізу. Осы мақсатта біз үшін

бірегей ресурстарды санау екі қарапайым Hadoop жұмыс орындарын іске асыру мүмкін

шығыс, олардың жиілік ареалының деректер және есеп.

Бұл екі жұмыс орны өте қарапайым: бірінші үштіктің енгізу кезінде және оқиды

түрлендіргіш фазалы ол <ресурсын, 1> ретінде үштік үш бөліктерін шығарады. Жылы

қайталанады URIs топтастырылады, өйткені басты сүзіледі кезеңін (азайту

бірге) және жиілік сөз санау қарағанда ұқсас жолмен есептеледі

мысал бөлімінде түсіндірді 2.6 . Екінші тапсырма енгізу шығару оқиды

Бірақ сол жиілігі бар қанша URIs алдыңғы Жұмыс және санақ

біз жиілігін бөлу жасауға болады.

Біз кэш ма бағалауға болады бөлу талдау

көмек немесе жоқ. Жағдайда, бұл біз сөздік сақтау үшін хэш кестені пайдалануға болады істемейді

орнына атысты үстел. Таратылған хэш үстел ақпаратты таратады

жергілікті ең танымал адамдарды кэштеу түрлі тораптар арасында хэш кестенің.

Бұл әдістің артықшылығы, біз орталықтандырылған құрылымын пайдалана отырып емес болып табылады

енді, біз әрбір түйіндегі кэштеу деп артықшылықтарын пайдалануға болады, бұл

ең танымал терминдер. Бөлінген тор белгісі бірнеше жүзеге асыру бар

үстелдер, бірақ бұл жұмыс үшін біз тек HBase қарастырдық.

HBase Hadoop бір кіші болып табылады, сондықтан ол жақсы интеграцияланған

шеңберінде қалған. Ол салыстырмалы жас жоба болып табылады, бірақ ол ауыр астында

дамыған және ол Yahoo сияқты ірі компанияларының қолдауына ие !. HBase біз бірге

сақтау және шығарып алу элементтері хэш кестелерде бірақ біз кез келген реляциялы емес, болады

қосылады немесе проекциясы сияқты операциялар. HBase жылы hashtables баған-келтіріледі

мен жазбаларды миллиард сақтау үшін бағытталған. HBase дүкен кестелерде бүгінгі күнге пайдаланылады

жолдар бағандардың миллион әрбір млрд.

Біздің жағдайда біз сақтау үшін деректер құрылымы ретінде HBase жылы хэш кестені пайдалануға болады

олар кодтау немесе кодтан ашу үшін қажет болған кезде сөздік және түйіндері қол жеткізуге болады

Page 30

MAPREDUCE функциялары ретінде 30CHAPTER 4. сөздік кодтау

деректер. Алайда ресурстарға нөмірін тағайындау үшін қалай проблемасы бар.

Біз орталықтандырылған Mysql серверді пайдалансаңыз авто ретінде «саны» бағанын орнатуға болады

қосымша және біз кестеде дерекқор мүмкін жаңа термин кірістіру әр жолы

оған автоматты түрде нөмірді тағайындаңыз. HBase бұл мүмкін емес, және біз бар

қолмен бірінші ресурс санды тағайындау және одан кейін ішіне қойылуы жүктеуге

Hashtable. Біздің тест бұл тәсіл жақсы орындайды, содан бері жоқ,

бөлінген кэш с раулар, ол көп ұзамай тастап кеткен болатын 10 мс қарағанда ақырын болды.

Тек MapReduce пайдаланып 4.4 Сөздік кодтау

Мұнда біз тек MapReduce функциясы пайдаланып сөздік кодтау істеуге болады қалай көрсетеді

кез келген басқа да сыртқы қолдауынсыз кіреді. Біз екі MapReduce арқылы осы істеу

бірінші әрбір ресурс үшін бірегей нөмірін тағайындау және одан кейін қалпына келтіру жұмыс орны

нөмірлерін орнына мәтінді пайдалана отырып, үштіктің.