6. Вэб як корпус

Інтэрнэт – вялікі даведнік, сусветная бібліятэка, сусветны архіў тэкставай інфармацыі.

Інфармацыйнае напаўненне сеткі Інтэрнэт (вэб-прасторы) можа разглядацца як вялікі шматмоўны корпус. Галоўны матэрыял лінгвістычнага аналізу любога корпуса -- гэта мова, зафіксаваная ў выглядзе пэўных тэкстаў. У інтэрнэце тэксты прадстаўлены ў вялікім аб’ёме і разнастайнасці, акрамя таго яны непасрэдна даступныя для машыннай апрацоўкі. Гэты факт прадстаўляе для лінгвістаў вялікую каштоўнасць, таму што перавод тэкстаў у машынную форму і стварэнне корпусаў патрабуе часавых і матэрыяльных выдаткаў.

Тэкставыя масівы інтэрнэта шырока выкарыстоўваюцца ў якасці крыніцы дадзеных для фарміравання корпусаў. Таксама тэксты, прадстаўленыя ў інтэрнэце, выкарыстоўваюцца ў якасці тэкставага матэрыялу для разнастайных праграм аналізу і апрацоўкі тэкставай інфармацыі.

У той жа час вэб-прастора можа выкарыстоўвацца непасрэдна як корпус. Зразумела, што ні адзін корпус тэкстаў нельга параўнаць па рэпрэзентатыўнасці моўнага матэрыялу з вэбам, куды ўключаюцца матэрыялы і іншых інэрнэт-рэсурсаў. Колькасць вэб-старонак увесь час павялічваецца. Пры гэтым узнікае пытанне аб сбалансаванасці вэб-корпуса. У корпус тэкстаў матэрыял звычайна адбіраецца. У вэб-корпусе такі адбор не праводзіцца, тут можна знайсці любыя тыпы тэкстаў, таму практычна немагчыма вызначыць сбалансаванасць дадзенага корпуса.

Пры выкарыстанні вэб-прасторы як корпуса ролю корпусных менеджараў выконваюць пошукавыя сістэмы. Існуе6 вялікая колькасць такіх сістэм, якія адрозніваюцца адна ад другой мовай запытаў, дызайнам, сервісам і іншымі асаблівасцямі. Да ліку такіх пошукавых сістэм вербальнага тыпу адносяцца наступныя: Coogle, Яндэкс (Яndex), Рамблер (Rambler), Апорт (Aport), AltaVista і інш.

У складзе любой пошукавай сістэмы можна выдзеліць тры асноўныя часткі:

1. Робат – падсістэма, якая забяспечвае прагляд (сканіраванне) Інтэрнэта і падтрымку інвертаванага файла (індэкснай базы дадзеных) у актуальным стане. Гэты праграмны комплекс з’яўляецца асноўным сродкам сбору інфармацыі аб наяўнасці і стане інфармацыйных рэсурсаў сеткі.

2. Пошукавая база дадзеных (гэта так называемы індэкс) – спецыяльным чынам арганізаваная структура дадзеных, якая ўключае перш за ўсё інвертаваны файл, які складаецца з лексічных адзінак, узятых з праіндаксаваных вэб-дакументаў і які ўтрымлівае разнастайную інфармацыю аб гэтых адзінках, а таксама аб саміх дакументах і сайтах у цэлым.

3. Пошукавая сістэма – падсістэма пошуку, якая забяспечвае апрацоўку запыту карыстальніка, пошук у базе дадзеных і выдачу вынікаў пошуку карыстальніку. Пошукавая сістэма мае зносіны з карыстальнікам праз карыстальніцкія інтэрфейсы – экранныя формы праграм-браўзераў: інтэрфейс запытаў і інтэрфейс прагляду вынікаў пошуку.

Індэксны файл (або індэкс) уяўляе сабой набор звязаных паміж сабой файлаў, арыентаваны на хуткі пошук дадзеных па запыту. Індэксы пошукавых сістэм гэта не што іншае, як віртуальныя канкардансы да тэкстаў. Выніку пошуку ў выглядзе кароткіх апісанняў дакументаў, як правіла ўтрымліваюць кантэксты, у якіх шукаемые словы сустрэліся ў знойдзеных дакументах. Адрозненне толькі ў тым, што канкардансы звычайна ствараюцца па канкрэтнаму твору або групе твораў, у той час як інфармацыйныя пошукавыя сістэмы інтэрнэта індэксуюць усю даступную колькасць электронных дакументаў.

Інтэрнэт можна разглядаць у якасці корпуса, аднак асноўныя рэжымы выкарыстання інтэрнэта як корпуса абмежаваны вывучэннем лексічнага матэрыяла. І ў гэтым накірунку магчымасці вельмі вялікія. Аднак, што датычыць граматычных даследаванняў на базе інтэрнэта, то без папярэдняй металігвістычнай разметкі яны зводзяцца да мінімума.