4.1 Неге біз сөздік кодтау мұқтажбыз

біз тест үшін пайдаланылатын енгізу мозаикасы шамамен 800 млн жиынтығы тұрады

үштік N-үштік кодталған және GZIP сығылған. Бұл деректер жиынтығы бар

dbpedia сияқты веб ең көп таралған қоймаларын кейбір үштік,

және т.б. Freebase, WordNet,

GZIP сығылған деректер, кеңістік шамамен 8 ГБ алады. Біз емес,

қысылмаған енгізу өлшемін білу, бірақ бұл шамамен бағалануы мүмкін

кейбір файлдарды жандандыру және үлесін құрайды.

Біз сынақ ретінде кейбір файлдарды көтерді. Әрбір файл 10000 үштіктің құрамында және

қысылған форматында ол шамамен 80 Кб алады. қысылмаған сол файл болып табылады

шамамен 1,4 MB. Толық болса, біз осылайша 1:16 бір қысылу факторын бағалауға болады

қысылған форматында деректер жиынтығы, біз қолдан келгеннің оны тарқатып, онда шамамен 8 ГБ

шамамен 130-150GB мөлшері күтеді.

Біз деректер одан әрі қысылған керек пе қарастыру кезінде, біз қажет

мұны тұр, егер бағалау. кодтау және декодтау міндеттері қабылдайды

27

Page 28

MAPREDUCE функциялары ретінде 28CHAPTER 4. сөздік кодтау

Біз бірге жұмыс табамыз пайда кемітпей тиіс уақыт

Деректерді кодталған. Басқаша айтқанда, деректерді кодтау келсе, бізден артықшылығы әкеледі

Есептеу SpeedUp тұрғысынан х, біз көз уақыты көз керек

кодтау және декодтау деректер басқаша айырбастау, X артық емес

бессмысленно болады. Біздің жағдайда айқын конверсиялық ауыстыру тұрады

үш үш ресурстары үш сандар және бір жерде үстел сақтау

бірлестігімен <сан, мәтін>. Негізінен, біз сөздікпен не істеу

кодтау әр ресурсы үшін бірегей нөмірін тағайындау және білдіруге

үш сандар тізбегі ретінде үштік. Бұл пайымдау әсер етпейді

процесс, біз екі үштіктің ой ол кезде сан болса, біз қамқорлық емес, өйткені

немесе біз олармен істеу ғана операция салыстыру, өйткені мәтін. кодталған

Мәтін кейінірек бастапқы шарттарына сәйкес сандарды ауыстыру ашуға болады.

Біздің жағдайда кодтау айқын артықшылығы әкеледі: ол түсіндірді болады

Кейінірек, ой жүгірту кезеңінде біз басты жадында сақталған ұстау керек

деректер аз. Деректер біздің эксперимент үшін осы шағын пайдаланылады

сомасы шамамен 2 млн үштіктің тұрады. Біз 25 байт орташа темпера- ретінде қарастыру болса,

Егер URI туралы і ұзындығы, содан кейін үш сақтау туралы 75 байт өтеді. Егер біз

Бұл аз мөлшері кететінін біз жасасуға 2 миллиондаған бұл санды көбейту

140Mb туралы, бұл әлі күнге дейін нақты машиналар үшін мүмкін, бірақ аз емес сома болып табылады

сол машинада іске қосылған бірнеше Hadoop міндеттері бар екенін ескере отырып,

Міндеттің өзі іске қосу үшін еске айтарлықтай мөлшерін қажет деп. Оның орнына

біз сандар мәтінді алмастыруға болса, Құдайдың, бүтін бар үштік еркін айтуға мүмкіндік

Сонымен деректер тек өтеді түпнұсқа 75. қарсы тек 12 байт

Бастапқы 140MB қарсы 22Мб.

сөздік құруда басты проблема, біз қол жеткізу қажет деп

сөздік репозиторий ретінде әрекет орталықтандырылған деректер құрылымының. Бұл туралы

Әрине, кіріс мөлшері, сондықтан үлкен және тапсырма арқылы жасалуы мүмкін емес болса, керемет

сөздік жадында сақталуы мүмкін, сондықтан бір машина. Бұл біздің емес,

іс деректер тым үлкен болып табылады. Біздің енгізу туралы бар екенін қарастырып көрейік