Қазақ тіл білімінде қолданбалы лингвистиканың қалыптасуы мен дамуы

Дәріс жоспары:

1 Компьютерлік лингвистика: даму тарихы және қалыптасуы.

2 Корпустық лингвистика – қазіргі қазақ тіл білімінің жаңа бағыты.

3 Мәтін корпусы және сөздіктердің «Тіл ‒ Қазына» ұлттық компьютерлік қоры.

1 Компьютерлік лингвистика: даму тарихы және қалыптасуы. Қазіргі кезде қоғамның барлық салаларында жаңа ақпараттық технологияларды қолдану өзекті мәселеге айналып отыр.

Қазақ тіл білімінің жаңа саласы ретінде қолданбалы лингвистиканың зерттеу бағыты мен салалары қалыптасып, даму үстінде. Қазақ тіл ғылымында қолданбалы лингвистиканың теориялық және практикалық негізінің қалануына Қ.Жұбанов, Қ.Бектаев, А.Жұбановтар көп еңбек сіңірді. А.Жұбанов өз еңбектерінде қазақ тіліндегі мәтіндерді автоматты түрде электронды-есептеу машиналары арқылы статистикалық әдіске сүйене отырып, қазақ мәтіндерінің мазмұнын формальдау жолдарын қарастырады. Сондай-ақ, қазақ тіл білімінің қолданбалы мәселелері бойынша Ә.Болғанбаев, Ш.Дәулетқұлов, С.Байзақов сияқты тілші-ғалымдар өз зерттеулерін жүргізді.

Қолданбалы лингвистика ХХ ғасырдың 20-жылдары ғылыми пән ретінде негізін қалады. Инновациялық компьютерлік технологияның қолданбалы лингвистика аясында дамуы компьютерлік лингвистика, инженерлік лингвистика, квантативті лингвистика, комбинаторлық лингвистика, корпустық лингвистиканың қалыптасуына әкелді. Лингвистикалық әдебиеттерде бұл ғылым салалары бір-бірімен теңестіріліп қарастырылады, алайда әрбір пәннің өзінің зерттеу мақсат-міндеттері мен әдіс-тәсілдері бар.

Компьютерлік лингвистика. Компьютерлік лингвистика ғылыми бағыт ретінде ХХ ғасырдың 60-жылдары қалыптасты. Стэндфорд және Нью-Йорк университеттерінде (АҚШ) алғаш рет тілдерді ЭЕМ-де оқытудың алғышарттары жасалған. 1990 жылдардың екінші жартысында компьютерлер мен телекоммуникациялық құралдардың жаңа түрлерінің пайда болуымен лингвистикалық ақпараттық кеңістікті кеңейту мақсатында мультимедиялық технологияға негізделген бағдарламалар жасалды. Кең көлемді ақпараттық ресурстарды тілді оқыту үдерісінде қолдану, қажет ақпараттарды өңдеу және сақтау – қазіргі тілдік білім беру үдерісіндегі өзекті мәселелердің бірі.

Компьютерлік лингвистиканың зерттеу нысаны ‒ компьютерлік құралдарды лингвистикада қолдану, жасанды тілдерді өңдеудің жүйесін қалыптастыру, қажет ақпаратты іздеу жұмыстары, машиналық аударма мәселесі, мәтінді компьютерлік безендіру, сөйлеу формасындағы ақпаратты автоматты түрде өңдеу, оны іздеу және сақтау сынды бағдарламалармен қамтамасыздандыру. Компьютерлік лингвистиканың маңызды мәселелерінің бірі ‒ автоматты түрде оқылатын лингвистикалық ақпаратты анықтау.

Қазіргі қазақ тіл білімінде компьютерлік лингвистиканың негізгі бағыты мемлекеттік тілді қоғамның барлық саласында ғылым тілі ретінде қолдануға бағытталған «компьютерлендіру» ісіне арналған. Осыған байланысты қазақ тілші-ғалымдары тарапынан қазақ лексикографиясы саласы бойынша компьютерлік қор жасау, қазақ мәтіндері корпустарының компьютерлік базасын құрастыру ісі қолға алынды. Бұл үшін мәтін мазмұнын компьютер арқылы түсінуге мүмкіндік тудыратын модель жасау үшін мәтіндегі тілдік бірліктердің (морфема, сөз, сөз тіркесі, сөйлем) мағыналарын формалды түрде анықтауға қатысты зерттеулер жүргізілуде.

Қолданбалы лингвистиканың статистикалық және компьютерлік бағыттары А.Байтұрсынұлы атындағы Тіл білімі институты «Қолданбалы лингвистика» бөлімінің қызметкерлері тарапынан қолданыла бастады. Оған дәлел ретінде 1993 жылы М.Әуезовтің 20 томдық толық шығармалар жинағын компьютер жадына түсіріп, зерттеуші қауымға жиілік сөздіктер ұсынғандығын айтуға болады. Ал 1978 жылы түркітану ғылымы үшін ортағасырлық «Кодекс-куманикус» ескерткішінің мәтіні тұңғыш рет ЭЕМ жадына енгізіліп, «Куманша-қазақша жиілік сөздігі» түзілді. Сондай-ақ, 1979 жылы М.Әуезовтің «Абай жолы» романының жиілік сөздігі де қазақ тілші-ғалымдарының статистикалық лингвистика саласына қосқан еңбек ретінде танылады.

Компьютерлік қор жасаудың негізгі мақсаты – зерттеуші маманның қажетті лингвистикалық ақпаратты іздеу жұмысын жеңілдету. Саяси-мәдени, экономикалық-әлеуметтік қатынастар негізінде тілдік жүйеге термин сөздер мен неологизмдердің еніп отыратыны белгілі, сол себепті автоматтандырылған сөздік базасын құрастыру кезек күттірмес мәселелердің бірінен саналады. Осы бағытта А.Жұбановтың «Қазақ сөзінің «Тіл – қазына» деректер базасы және оның теориялық негіздері» атты ғылыми монографиясы жарық көрді.

«Тіл – қазына» атты деректер қорының мүмкіндіктері:

- қажетті деген сөзге немесе сөзформаға қатысты карточкалық мәнмәтіндерді лезде тауып алып, олармен компьютердің экраны арқылы немесе қағаз бетіне басып шығарып та танысу мүмкіндігі;

- әрбір әріпке байланысты реестрлік сөздік түзілгендіктен, қажет деген сөздер мен оларға қатысты карточкалық мәнмәтіндерді лезде іздеп тауып алу мүмкіндігі;

- қажетті деген сөзге немесе сөзформаға (олардың бастапқы, ортаңғы, соңғы бөліктеріне) байланысты карточкалық мәнмәтіндерді авторына, шығармасына, баспа аттары мен шыққан жылдарына қатысты іздеп табу мүмкіндігі;

- «Тіл – қазына» компьютерлік базадағы карточкалық мәнмәтіндерді  өңдеуге, өшіруге немесе жаңадан қосуға болатын мүмкіндіктің ескерілуі (1, 9).

2 Корпустық лингвистика – қазіргі қазақ тіл білімінің жаңа бағыты. Ұлттық корпустық лингвистика ‒ электронды форматтағы мәтіндер жиынтығынан құрылған ақпараттық-анықтамалық жүйені құрайды. В.П.Захаров «Корпусная лингвистика» атты оқу құралында былай дейді: «Под названием лингвистический, или языковой, корпус текстов понимается большой, представленный в электронном виде, унифицированный, структурированный, размечанный, филологический компетентный массив языковых данных, предназначенный для решения конкретных лингвистических задач» (2,3).

Корпустық лингвистика 1963 жылы АҚШ-та өмірге келген Браун корпусынан (The Brown Standard Corpus of American English) бастау алады. Бұл корпустың көлемі 1 млн. сөзқолданыстан тұрады және оның құрамында әрбіреуі 2 мың сөзқолданысқа тең 500 мәтін бар. Ал орыс тілінің ұлттық корпусы 5 млн. астам сөзқолданыстан тұрады.

Корпустық лингвистиканың ағылшын тілі материалы негізінде қалыптасуын ғалымдар компьютерлік техниканың, өткен ғасырдың 60-80 жылдары британ лингвистикасындағы жасанды интеллектінің белсенді даму жағдаятымен түсіндіреді. Корпустық лингвистика тіл білімінің жеке саласы ретінде өзімен іргелес жатқан тіл ғылымы пәндерімен, атап айтқанда, математикалық лингвистика, дискурстік анализ және лексикография салаларымен тоғысады. Сондай-ақ, мәтін корпусы тілдік жүйенің фонологиялық, лексикалық, грамматикалық және стилистика салаларымен тығыз байланысты. Компьютерде мәтіндерге лингвистикалық ақпараттар беру, корпустық зерттеулер біраз уақыттан бері жалпы тіл білімінде, соның ішінде шетел тіл білімінде лингвистикалық зерттеулердің негізгі тәсілдерінің бірі ретінде қолға алынып келеді.

Корпустық лингвистика тілдік зерттеулерде мынадай әдістерді негізге алады: филологиялық әдістер;

статистикалық әдістер;

ақпараттық-технологиялық әдістер;

теориялық-лингвистикалық әдістер.

3 Мәтін корпусы және сөздіктердің «Тіл ‒ Қазына» ұлттық компьютерлік қоры. Мәтіндер корпусы лингвистикалық, филологиялық және педагогикалық мәтіндер аясында топтастырылуы мүмкін. Компьютерлік лингвистика лексикография, грамматика, мәтін лингвистикасы, типология, контрастивтік лингвистика, аударма теориясы мен практикасы, әдебиеттану ғылымы, лингводидактика сынды пәнде аясында қарастырылады. Корпустық лингвистиканың ішінде ең жақсы дамыған корпус түрі – ұлттық корпус. Мұндай корпус түрі ұлттық тілді толық түрде бейнелейді. Ұлттық корпустың негізі – сол тілдің жазба және сөйлеу түріндегі мәтіндерінің барлық типтерінің бейнеленуі. Ұлттық корпус лексикография, жасанды интеллект, әдебиеттану, сөйлеу тілін талдау мен жинақтау, академиялық сөздіктер мен ғылыми грамматикалар құрастыру ісі, лингвистиканың өзге де салаларына қатысты зерттеу түрлерін жүргізуді қамтамасыз етеді. Ұлттық корпуcты ғылыми көпшілік қауым, тілшілер мен әдебиеттанушы, тарихшылар мен гуманитарлық білім салаларының өкілдері пайдалана алады. Сонымен қатар ұлттық корпустың ана тілі мен шет тілін оқытуда, оқулықтар мен бағдарламалар құрастыруда маңызы жоғары деуге болады.

Қазақ тілінің тілдік корпусын зерттеуге арналған бұл жұмыстың нәтижелері жоғарғы оқу орындарында оқытылатын «Қазақ тілінің функционалды грамматикасы», «Компьютерлік лингвистика», «Морфология», «Мәтін лингвистикасы» салалары бойынша дәрістер мен семинар сабақтарында пайдалануға болады.

Қазақ тіл білімінде корпустық лингвистика мәселесіне қатысты тілдік корпус терминінің мәнін айқындап, оның лингвистикалық табиғатына сипаттама беру; тілдік корпус жасаудың теориялық және практикалық негіздемелерімен танысу; корпус жасаудың лингвистикалық деңгейін компьютерлік деңгеймен байланыстыру; көркем тіл мен техника тілін орайластыру; белгі-кодтар қоюдың кезеңдік әдіс-тәсілдерін меңгеру; лингвистикалық белгі-кодтарды қоюдың теориялық және практикалық  мәселелерін шешу; морфологиялық талдаудың дәстүрлі принциптеріне сүйене отырып, талдау үлгілеріне шолу жасау жұмыстары атқарылды. 

Қазақ тілінің тілдік корпусын «Қазақ тілінің функционалды грамматикасы», «Компьютерлік лингвистика», «Морфология», «Мәтін лингвистикасы» салалары бойынша оқытылатын лекциялар мен семинар сабақтарында пайдалануға болады.

Яғни қандай да бір көркем шығарма немесе басқа да жанр  түрлерінен алынған мәтінді корпустық лингвистика парадигматикалық және синтагматикалық қатынастар тұрғысынан алып,  синтагмада, яғни тізбектеле жатқан сөйлемдерді алдымен парадигматикалық қатарға түсіріп, бөлшектеп, сол жекелеген сөйлем бөлшектерін қайтадан синтагмалық жүйеде тізбектей лингвистикалық белгілер қоя отырып сипаттайды. Мұндай лексика-грамматикалық, семантикалық, стилистикалық сипаттамалар, белгілі бір сөзформаға морфологиялық, семантикалық, синтаксистік  мағлұматтар компьютерде автоматты түрде орындалады. Осы тұрғыдан алғанда біздің айтып отырған мәтіннің әрбір бөлшегіне берілген лингвистикалық ақпарат, жай тілдік сипаттама ғана емес, автоматтандырылған компьютерлік лингвистиканың аясында қарастырылады. 

Яғни бірінші кезеңде сөзформаның мүмкін варианттары автоматты түрде түгелдей қамтылса, екінші кезеңде омоним сөзформалар анықталып, олардың тұсына сұрақ белгілері қойылып отырады. Үшінші кезеңде анықталған омонимдер, яғни бірдей сөзформалардың (ол сөз не сөздің формасы, яғни грамматикалық формалар болуы мүмкін) лексикалық не грамматикалық мағыналары мәтіндерден іздестіріліп, қай сөз табы екендігі анықталады. Мұндай жұыс түрлерінің барлығы компьютерде арнайы бағдарламалар негізінде жүзеге асырылады.

Тілдік корпус жасалғаннан кейін, зерттеуші белгілі бір тілдік құбылысты компьютер жадынан интернет желісі арқылы іздеуіне болады. Іздеу белгілі бір өлшемде іске асырылады. Мәселен, ізделетін нақты сөзформа көрсетіледі; лексема, яғни түбір сөз беріледі; морфологиялық белгілері қойылады; басқа сөзформалар/лексемалармен тіркесуі; сөйлемдегі қолданыс ерекшелігі (орын тәртібі); мәтіннің шыққан уақыты мен жанры тағы басқа ақпараттар көрсетіледі.

Компьютерлік бағдарламаға енгізілетін көркем әдеби шығармалар мәтіндеріне морфологиялық талдау жасау барысында біршама мәселелер алдан шықты. Оларды жалпылай айтсақ: біріншіден, қазақ тіл білімінде жекелеген лексикалық бірліктерді сөз таптарына жатқызуда қайшы пікірлердің кездесуі, екіншіден, кейбір грамматикалық формалардың тұрпат межесі мен мазмұн межесінің түпкілікті айқын еместігі, үшіншіден, қазақ тілінің өзіндік ерекшелігінен туындайтын контекст мәселесі, төртіншіден, авторлық қолданыс ерекшеліктері, бесіншіден, мәтіндер корпусын жасауда әзірленген компьютерлік бағдарлама мүмкіндіктері. Бұл аталған жайттарды мысалдар арқылы көрсетейік: Таң алдында бiр ғана сағат мызғығаны болмаса, Абай бұл түндi ұйқысыз өткiздi деген сөйлемдегі сөздерге жеке-жеке морфологиялық талдау төмендегіше жасалды: таң {таң  – зат: жалпы, дара, түбір, дерексіз + Ø жекеше + Ø септік, ілік}; алдында {алд – көмекші есім: дара, түбір + Ø жекеше + тәуелдік, 3-жақ + септік, жатыс}; бiр {бiр – сын: дара, түбір, есептік} ғана {ғана – шылау: дара, түбір, демеулік}; сағат {сағат – зат: жалпы, дара, түбір, деректі + Ø жекеше + Ø септік, ілік}; мызғығаны {мызғы – етістік: дара, түбір, негізгі, салт + есімше + тәуелдік, 3-жақ + Ø септік, атау}; болмаса {болмаса – шылау: дара, түбір, жалғаулық}; Абай {Абай – зат: жалқы, дара, түбір, деректі + Ø жекеше + Ø септік, атау}; бұл {бұл – есімдік: дара, түбір, сілтеу + Ø жекеше + Ø септік, атау}; түндi {түн – зат: жалпы, дара, түбір, дерексіз + Ø жекеше + септік, табыс}; ұйқысыз {ұйқысыз – сын: дара, туынды, қатыстық}; өткiздi {өт – етістік: дара, түбір, негізгі, салт + функционалды жұрнақ + жедел өткен шақ + Ø рай, ашық + Ø жіктік, 3-жақ, Ø жекеше}. Осы сөйлемдегі жеке сөздерге жасалған морфологиялық талдаудың негізгі принциптері мен қойылған шартты белгілерге төмендегідей түсініктеме беріледі: 

- мәтіндегі сөздер қара бояумен (мызғығаны)  бөлек алынады;

- одан кейін ирек жақша қойылып, осы сөздің реестрге енетін тұлғасынан кейін «–» белгісі арқылы негізгі грамматикалық сипаттамасы беріледі: мызғы – етістік: дара, түбір, негізгі, салт;

- «+» белгісі қойылып, осы сөзге жалғанған (жалғануы мүмкін) грамматикалық форма (бірнешеу болса, араларына «+» белгісі қойылады) беріледі: «+ есімше + тәуелдік, 3-жақ + Ø септік, атау». Мұндағы «+» белгісі сөздің түбіріне немесе оған жалғанған қосымшаға жұрнақ немесе жалғау жалғанып тұрғандығын, ал «Ø» символы атау септік тұлғасының контексте әрқашан «нөлдік формада» тұратындығын білдіреді;

- сөз құрамындағы барлық грамматикалық формалар берілгеннен кейін ирек жақша жабылады (3).

Мәтіндегі сөздерге морфологиялық талдау жасағанда қойылатын шартты белгілер сөз табының ерекшеліктеріне байланысты. Мәселен, «Ø» морфологиялық белгі шартты түрде «нөлдік форма» орнына қолданылады.

Жалпы лингвистикалық корпусы жасалған тілдер қатарынан ағылшын ұлттық тілі корпусын, неміс ұлттық тілі корпусын жатқыза аламыз, сондай-ақ орыс ұлттық корпусы, қытай тілінің ұлттық корпусы, португал тілінің корпусы, хорват ұлттық корпусы, чех ұлттық корпусы, қырым татарлары тілінің корпусы жасалған.

Лингвистикалық корпус түрлерін төмендегі сайттардан көруге болады:

Ағылшын тілі бойынша

Brown Corpus – алғашқы лингвистикалық корпус http://www.hd.uib.no/icame/brown/bcm.html

The British National Corpus (BNC)  http://sara.natcorp.ox.ac.uk/lookup.html

Неміс тілі бойынша

COSMAS (Неміс тілі институтының корпусы, IDS) http://corpora.ids-mannheim.de/~cosmas/ 

NEGRA - синтаксически аннотированный корпус  http://www.coli.uni-sb.de/sfb378/negra-corpus/

Орыс тілі бойынша

(Браун корпусына негізделген орыс тілінің Уппсальдық корпусы) http://www.sfb441.uni-tuebingen.de/b1/en/korpora.html

http://corpora.yandex.ru/

Әдебиеттер:

1 Жұбанов А.Қ. Қазақ сөзінің «Тіл – қазына деректер базасы және оның теориялық негіздері. – Алматы, 2009.

2 Захаров В.П. Корпусная лингвистика: Учебное пособие. – Москва, 2005.

3 Құлманов С. Корпусқа енгізілетін мәтіндердегі сөздерді морфологиялық талдау және оларға шартты белгілер қою принциптері // Тіл және мәдениет: тілдің антропоөзектік парадигмасы. – Алматы, 2010.

4 Жұбанов А.Қ. Основные принципы формализации содержания казахского текста. – Алматы, 2002.

♦ Тапсырма:

Қолданбалы лингвистиканың зерттеу нысаны мен зерттеу бағыттары.

А.Жұбановтың «Қазақ сөзінің «Тіл – қазына» деректер базасы және оның теориялық негіздері» атты ғылыми монографиясына сипаттамалы талдау жасаңыз.

♦ Өзін-өзі тексеруге арналған сұрақтар:

Сөздік қор, сөздің құрам дегеніміз не?

Мәтін корпусы терминін қалай түсінесің?

Корпустық лингвистиканы түзудің мақсаты не?

Жиілік сөздіктің нысаны мен мақсатын айқындаңыз.

Корпустық лингвистиканың негізгі зерттеу нысаны не?

♦ СӨЖ тақырыптары:

А.Жұбанов және қолданбалы лингвистика мәселесі.

Ұлттық тіл корпусын жасаудың қажеттілігі мен маңызы.

Қазақ тіл білімінде қолданбалы лингвистиканың қалыптасуы мен дамуы.

Ұсынылатын әдебиеттер:

Жұбанов А. Компьютерлік лингвистикаға кіріспе. Оқу құралы. – Алматы, 2007.

Жұбанов А. Қолданбалы лингвистика: қазақ тілінің статистикасы. Оқу құралы. –Алматы, 2007.

Жұбанов А. Қолданбалы тіл білімінің мәселелері. Вопросы прикладного языкознания. – Алматы, 2008.

Жұбанов А. Қолданбалы лингвистика: формалды модельдер. Оқу құралы. – Алматы, 2006.

Жұбанов А. Қазақ сөзінің «Тіл – қазына» деректер базасы және оның теориялық негіздері. База данных «Тіл – қазына» казахского слова и ее теоретические основы. – Алматы, 2009.