4. Примеры решения типовых лингвистических задач

Задание 1. Проверьте гипотезу, состоящую в том, что средняя длина слова в английском языке меньше, чем средняя длина слова в русском языке. В выборке объемом в 400 слов художественного текста на русском языке подсчитайте количество одно-, двух-, трех- и т.д. буквенных слов. Данные внесите в таблицу вида 4.1.

Таблица 4.1. Распределение статистических вероятностей слов различной длины

xi	1	2	3	4	5	…		…	…	…
mi
pi

В первой строке таблицы 4.1. указаны значения случайной величины (x_i), в ячейках второй строки – количество слов данной длины (m_i), в ячейках третьей строки – статистические вероятности употребления слов с данным количеством букв (p_i).

Используя формулы (5), (6) и (9), определите среднюю длину слова, дисперсию, вероятность отличия вычисленной средней от математического

ожидания на величину, равную 0,5 или меньшую, чем 0,5; также найдите

значение N при условии, что

.

Аналогичные вычисления выполните для текста на английском языке объёмом в 400 слов.

Задание 2 Оценка особенностей стиля писателя. Сравните творчество двух писателей (по предметности, качественности и динамизму).

1. Для определения манеры письма писателя А выделите из его произведений 10 отрывков (микровыборок) текста по 150 слов в каждом. Подсчитайте количество существительных, глаголов, наречий, прилагательных, местоименных существительных, причастий и деепричастий в каждой микровыборке (т.е. в одном отрывке объемом 150 слов). Постройте вариационные ряды. Выполните статистическую обработку результатов. Вычислите:

а) среднее количество грамматических категорий ( ) в микровыборке,

б) дисперсию (σ),

в) среднее квадратичное отклонение (s).

Полученные данные оформите в виде следующей таблицы 4.2.

Таблица 4.2. Частоты употребления частей речи в микровыборках и числовые характеристики встречи различных частей речи в произведениях писателя А

Части речи	Номера микровыборок											σ	s
	1	2	3	4	5	6	7	8	9	10
Существ. (С)
Глагол (Г)
Прилагат. (Пр)
Наречие (Н)
Мест. сущ. (Мс)
Причастие (Пч)
Дееприч. (Дч)

2. Оцените абсолютную и относительную погрешности средних значений. Определите количество микровыборок (количество 150-словных отрывков), обеспечивающих определение средних значений с погрешностью, не превышающей 10 % (0,1).

3. По следующим формулам оцените предметность (П), динамизм (Д) и качественность стиля писателя:

а) П = (С + Мс)/(Г + Пр),

б) Д = (Г + Пч +Дч)/(С + Мс + Пр),

в) К = (Пр+ Н)/(Г + С).

4. То же самое выполните для оценки стиля писателя В.

5. С помощью t – критерия (критерий Стьюдента) оцените значимость (не- значимость) расхождений в употреблении писателями А и В существительных, глаголов, наречий и прилагательных

Задача 3. Расшифровка неизвестной письменности

Дан закодированный двузначными числами (назовем их символами) отрывок обнаруженного в архиве библиотеки документа неизвестной письменности (см. Приложение). Необходимо установить следующее:

а) какой принцип (пиктографический или фонетический) использован в написании документа,

б) на каком языке документ написан?

При решении данной задачи выполните следующие вычисления:

1. Определите вероятность встречи каждого символа в документе и постройте в Excel таблицу (вариационный ряд). Форма таблицы (4.3) приведена ниже.

Таблица 4.3. Частотность и статистические вероятности употребления символов в закодированном тексте

xi	01	05	17	…	…	…	…
mi
pi

Здесь - символ, использованный при кодировке выделенной части документа,

– количество употреблений данного символа в отрывке,

- статистические вероятности встречи символов в документе ,

N – количество символов в рассматриваемом отрывке текста (объём выборки).

На основе полученных статистических данных (числа различных символов, использованных в неизвестной письменности) определите принцип письма.

2. По формулам (1) - (3) оцените величину абсолютной и относительной ошибки вероятностей символов, а также объем текста, который следовало проанализировать для вычисления вероятностей встречи символов с ошибкой, не превышающей 10%. (При вычислениях используйте

доверительную вероятность , равную 0,95, и = 1,96).

3. Составьте таблицу 4.4 (по приведенному образцу см. с. 15) с данными частот встречи различных пар символов (распределения условных частот символов) в неизвестной письменности, т.е. , где i – предшествующий символ, а j следующий за i – тым символ, - количество – того символа, следующего в тексте за - тым символом.

4. Используя данные таблицы условных частот, а также свойства фонетического письма – чередование согласных и гласных, осуществите разбиение символов на «гласные» и «согласные». Алгоритм преобразования таблицы 4.4 в таблицу 4.5 описан в приведенной литературе.

5. Измерьте расстояние - D - между точками M и N [имеется в виду система гласных неизвестной письменности (N) и системы гласных русского, английского, татарского, немецкого или французского языков (M) (см. табл. 4.6)], используя формулу (16)

, (16)

где n_i – i - тая координата точки N (вероятность i - той гласной неизвестного языка), m_i - i - тая координата точки M (вероятность i -той гласной одного из перечисленных языков).

Таблица 4.4. Частотность сочетаний пары символов в закодированном тексте.

	11	30	45	13	60	8	2	14	10	15	80	50	75	40	35	9	41	5	4	20	33	55	65	7	17	70	71	77	21	...	Σnj(i)
11		2			2				1			1					1			1									1		9
30	1		1			1		2		1	2			2		1			1		1								4		17
45		1		1	2							2									1		1						1		9
13					1																										1
60			1			2		1		1				1							1								10		17
8					1							2		1	1	2				1									4		12
2		1	1					2											1												5
14		2			1				4		1						3														11
10			1		1	1				2				1		1					1								3		11
15			1								2																				3
80		1			5				1			2								2			1					1	3		16
50	2		2			1					2		2	2					1			1		1	1				2		17
75					1																										1
40		2						2	1		1	2																	1		9
35		1						1	1																						3
9		1			1						1	1								1	1								1		7
41			1																			1							2		4
5								1	1																						2
4		1									2	1								4											8
20			1					1														2			1	1			1		7
33					1				1			1												1					2		6
55						1																							3		4
65		1																											1		2
7					1		1																						1		3
17											1																		2		3
70																				1									1		2
71																1															1
77												1																			1
21	6	4				5	4	1	1		4	2		2	2	2		2	3		1			1		1					41

Таблица 4.5. Частотность следования гласных и согласных символов, которыми обозначены столбцы,

за гласными и согласными символами, приведенными в строках

	гласные									согласные
		30	60	50	10	20	2	41	15	11	45	13	8	14	80	75	40	35	9	5	4	33	55	65	7	17	70	71	77	21
гласные	30								1	1	1		1	2	2		2		1		1	1								4
	60								1		1		2	1			1					1								10
	50									2	2		1		2	2	2				1		1		1	1				2
	10		1						2		1		1				1		1			1								3
	20										1			1									2			1	1			1
	2	1									1			2							1
	41										1												1							2
	15										1				2
согласные	45	1	2	2								1										1		1						1
	13		1
	8		1	2		1											1	1	2											4
	14	2	1		4			3							1
	80	1	5	2	1	2																		1					1	3
	75		1
	40	2		2	1									2	1															1
	35	1			1									1
	9	1	1	1		1									1							1								1
	5				1									1
	4	1		1		4									2
	33		1	1	1																				1					2
	55												1																	3
	65	1																												1
	7		1				1																							1
	17														1															2
	70					1																								1
	71																		1
	77			1
	21	4		2	1		4			6			5	1	4		2	2	2	2	3	1			1		1

6. В закодированном документе замените символы буквами того языка, которому «близка» система гласных неизвестной письменности.

Таблица 4.6. Система гласных букв английского, русского и татарского языков, а также вероятности их встречи в письменной форме указанных языков

Гл. буквы англ. языка Вероятн. встречи е 0,106 и 0,074 а 0,062 о 0,059 у 0,029

Гл. буквы рус. языка Вероятн. встречи о 0,09 е,ё 0,072 а 0,062 и 0,062 у 0,021 я 0,018 ы 0,016 ю 0,006 э 0,003

Гл. буквы тат. языка Вероятн. встречи а е, ы ә и у о ү ө я ю э 0,092 0,065 0,057 0,055 0,035 0,019 0,012 0,01 0,009 0,008 0,006 0,003

Задача 4. Вычислите количество информации, сообщаемое одной буквой текста, написанного на русском, татарском и на немецком языках. Выполните задание при следующих условиях:

1) встреча букв в языках равновероятна, т.е. вычислите

І₀ = Н_о = log₂N; (17)

2) найдите также І₁ с учетом, приведенных в таблице 4.7 вероятностей употребления букв в указанных языках, т.е.

І₁= Н₁= -∑p_ilog₂p_i. (18)

Здесь І₀ и І₁–количество информации, сообщаемое одной буквой при условиях 1) и 2) соответственно, Н₀ и Н₁ - величины неопределенности, заключенной в букве при условиях, что частоты появления букв равновероятны (случай 1) и имеют разную вероятность (случай 2), N – количество букв в алфавите, р_i – вероятность употребления i - той буквы.

Задача 5. В тексте объёмом 200 слов определите условные вероятности появления букв за гласными “о” и “у”, т.е. вероятности Р_о(I) и Р_у(Ј). Оцените количество информации, которое сообщают гласные “о” и “у” о следующих за ними буквах (I – буквы, которые могут встречаться за “о”, J - буквы, которые могут встречаться за “у”).

Задача 6. Оцените мелодичность русского языка. На основе данных анализа текста в 500 лексических единиц определите (в процентах) доли слов, заканчивающихся на гласные и на согласные буквы.

Таблица 4.7. Вероятности употребления букв в различных языках

русский		татарский		немецкий		французский
пробел	0,175	пробел	0,152	пробел	0,151	пробел
а	0,062	а	0,092	e	0,147	e	0,134
б	0,014	б	0,026	n	0,088	a	0,073
в	0,038	в	0,004	r	0,069	i	0,067
г	0,013	в	0,025	i	0,064	s	0,065
д	0,025	д	0,028	s	0,054	t	0,062
е	0,072	е	0,065	t	0,047	n	0,056
ж	0,007	ж	0,000	d	0,044	u	0,054
з	0,016	з	0,014	h	0,043	r	0,052
и	0,062	и	0,035	a	0,043	l	0,044
й	0,010	й	0,013	u	0,032	o	0,041
к	0,028	к	0,049	l	0,029	d	0,026
л	0,035	л	0,051	c	0,027	c	0,026
м	0,026	м	0,022	g	0,027	p	0,023
н	0,053	н	0,065	m	0,021	m	0,021
о	0,090	о	0,012	o	0,018	v	0,015
п	0,023	п	0,016	b	0,016	q	0,010
р	0,040	р	0,053	z	0,014	f	0,009
с	0,045	с	0,022	w	0,014	j	0,008
т	0,053	т	0,041	f	0,013	g	0,007
у	0,021	у	0,012	k	0,009	h	0,007
ф	0,002	ф	0,002	v	0,007	b	0,007
х	0,009	х	0,004	eu	0,006	x	0,003
ц	0,004	ц	0,000	p	0,005	y	0,001
ч	0,012	ч	0,013	ea	0,005	z	0,001
щ	0,003	щ	0,000	eo	0,002	k	0,000
ь,ъ	0,014	ь,ъ	0,001	j	0,002	w	0,000
ы	0,016	ы	0,057	y	0,001
э	0,003	э	0,002	q	0,000
ю	0,006	ю	0,001	x	0,000
я	0,018	я	0,008
ә	0,000	ә	0,055
ө	0,000	ө	0,009
ү	0,000	ү	0,010
җ	0,000	җ	0,004
ң	0,000	ң	0,009
һ	0,000	һ	0,002