100 1 Млн Құрылғыны пайдалану үштіктің мен нәтижелері sublinear ауқымдылығы көрсетеді.

Біздің көзқарас үлесі көптеген осы жұмыс ұғымдар, бірақ біздің негізделген

олардың ортақ деректерді пайдалану көзделіп отыр, ал еркін таратылатын жүйе ұштастыра

құрылымдар The қосылады есептеу үшін. Бұл тікелей салыстыру қиындатады.

Үлкен деректер жиындарымен пайымдау жасауға Кейбір көзқарастар бөлінген жүйесін пайдаланады

ауқымдылығы жақсарту жүйелерінде. Туралы үлестірілген жақсы енгізу қағаз

жүйелер болып табылады [1 ]. Авторлар бөлінген жүйесінің анықтамасын береді және сипаттау

Параллелизм ісі 15 түрлі программалау тілдері. Олар сондай-ақ

сипаттау дәйекті программалау тілдерінде арасындағы айырмашылық қандай

және программалау тілдері параллель. Бұл қағаз, дегенмен, салыстырмалы түрде ескі болып табылады

әлі күнге дейін тәжірибесі таратылды жоқ, кім үшін жақсы енгізу

жүйелер және бағдарламалау тілдері.

Параллель OWL пайымдау үшін тәсіл [хабарлайды 26 ]. Мұнда авторлар

олар екі жолмен есептеу және деректерді бөлу екі шешімдерді ұсына

Желі тораптарында осы бөлімнен астам жабу. екі көзқарас

бөлу әдісіне арналған ерекшеленеді. Бірінші жағдайда, олар деректерді бөлу

және әрбір түйіндері тек қана бір бөлімінде ұзарту есептеу. Екінші

іс бөлім ережелерін астам жасалады және әрбір түйіндері ғана қолданылады

барлық деректер астам белгілі бір ережелері. Олар оны жүзеге асырдық, бірақ олар есеп

тек есептілікті 1 млн шағын деректер бойынша спектакльдер.

[21 ], онда өзін-өзі ұйымдастыру P2P желісіне негізделген әдістемесін ұсынады

Деректерді әртүрлі құрбыларының арасында ыдырайтын және алмасу. хабарлады

3 3

http://www4.wiwiss.fu-berlin.de/bizer/BerlinSPARQLBenchmark/spec/index.html

Page 25

3.3. Сөздік кодтау

25

нәтижелері салыстырмалы түрде шағын деректер бойынша, олар sublinear ауқымдылығы көрсетеді.

[23 ] әр түйін тек белгілі бір ережелер орындайды және көзқарас ұсынады

барлық деректер барлық түйіндерде арқылы өту керек. Осылайша бір түйін бола алады

жүйенің тар және осы деректердің үлкен сомасы ауқымды емес.

[20 ] деп аталатын шошқа Hadoop үстіне салынған базаны ұсынады. Шошқа бойын- ша

аударымдарын жүзеге асыру деректер үстінен SQL сән сұрауларын іске қосу үшін, пайдаланушы мүмкіндігі

MapReduce тапсырмалардың дұрыс ретпен оларды аудару. Қызықты пайдаланушы

Pig жағдайда сипатталған [1 , олар А орындалуына талқылау 9]

Бұл базаны пайдалана отырып, с рау SPARQL қозғалтқыш.

MapReduce тағы кеңейту [хабарлайды 30] , онда авторлар экс

Картадан және жасаған бастапқы бағдарламалау үлгісі қосу азайту үрдісі

бір соңғы кезеңі «біріктіру» деп аталатын. Бұл соңғы кезеңде ыдырайтын және сұрыпталған

редукторлардың арқылы қайтарылады нәтижелері қосымша біріктіріледі

фаза. Қағаз авторлар бұл модель Тиісті білдіруге болатынын көрсетіп

қосылады сияқты халықаралық алгебра операторлар. Мұндай модель орындау үшін пайдаланылуы мүмкін

деректер үштіктің арасында қосылу, өкінішке орай, олар кез келген жұмыс қамтамасыз етпейді

жүзеге асыру, сондықтан біз оны тексеруге алмады.

3.3 Сөздік кодтау

Сөздік кодтау көптеген салаларда өзекті болып табылады жалпы проблема болып табылады,

ақпарат алу деректер қысу үшін.

Жадында сөздік сақтау үшін бірнеше әдістер бар. Жақсы ком-

бірнеше деректер құрылымдар арасындағы лары берілген [3 1]. Салыстыру бастап

бұл ең жылдам деректер құрылымы хэш кесте болып табылады, бұл соқты. Бұл жұмыстарға

Авторлар, сондай-ақ қадам үшін майданға, онда деп аталатын жаңа хэштеу алгоритм ұсынады

қатынасқан құн тізбегінің жоғарғы жағына қоныс отыр. Бұл оңтайландыру жылдамдатады

хэш кестенің спектакльдер.

Жаңа деректер құрылымы, б лшектеу әрекет деп аталады, [ұсынылып отыр 9 ] және, дегенмен болып табылады

таза хэш кестеде ретінде тез емес, ол едәуір екілік ағаш асып.

Жағдайда құжаттар ірі сөздік негізгі жад көлемін пайдалануға

Оны есте сақтау үшін жеткілікті болуы және сондықтан біз дискідегі оны кэштау үшін қажеті жоқ болады.

Диск негізіндегі hashtables үшін қол жетімді бірнеше жүзеге асыру, кейбір бар

BerkleyDB сияқты кітапханалар ұсынған

4 4

немесе DBH сияқты OpenSource жобалар

5 5

.

4 4

http://www.oracle.com/technology/products/berkeley-db/je/index.html

5

http://dbh.sourceforge.net/

Page 26

26

3-тарау БАЙЛАНЫСТЫ ЖҰМЫС

Page 27

4-тарау

Сондай-ақ сөздік кодтау

MapReduce функциялары

Біз бұл басқа бір N-бөлмелі форматында үштік жылғы қысу қажет

аз орын алады. сөздік кодтау әдісі кеңінен қысу үшін пайдаланылады

деректер мен пән бойынша көп зерттеу бар.

Бұл тарауда біз де солай бірнеше тәсілдерді астам талқылау. Біріншіден, біз пайдалана аласыз

Hadoop есептеуін және таратуға дүкенге орталықтандырылған SQL Server пайдалануға

сөздік. Бұл тәсіл бөлімінде сипатталған 4.2. орталықтандырылған бастап

SQL Server біз орнына пайдалануға болады, қолдану тар бола алады

сөздік сақтау үшін бөлінген кэш. Бұл Екінші нұсқа сипатталған

бөлім 4. 3. Біз тек ешқандай Hadoop пайдалануға басқа тәсіл бар

басқа сыртқы қолдау. Бұл өткен тәсіл басқа гөрі, тезірек және ол

бөлімінде сипатталған 4.4.