Леция №7 Основные cведения из математической статистики

7.1. ОЦЕНКИ ЧАСТОТ

В контент-анализе самыми бедными по содержанию и в то же время самыми фундаментальными являются простые оцен­ки частот. Примем следующее обозначение: f(c,t) — частота встречаемости характеристики c в тексте t.

Отдельные слова как элементы содержания являются част­ным случаем того, что в контент-анализе называется категори­ей. Категория — это множество слов, объединенных вместе по тому или иному признаку. Так, в качестве категории ЖИЛЬЕ может выступать группа синонимов (берлога, дом, жилище, жи­лье, логово, логовище, обиталище, обитель). Другими примера­ми могут быть категории агрессивно окрашенной лексики АГ­РЕССИВНОСТЬ (бить, бушевать, грозить, назло, одолеть, по­гром, рычать,...) и позитивно окрашенной лексики ПОЗИТИВ (благодарность, бодрый, вкусный, добро, нежный, няня, теплый, шутка, юмор, ясный,..). Частота упоминания в тексте некото­рой категории подсчитывается как сумма частот входящих в нее слов, т.е. если K — категория, то

Логической операцией, лежащей в основе создания катего­рии, является определение через абстракцию. Вовсе не обяза­тельно категория должна задаваться посредством заранее фик­сированного списка слов. Иногда гораздо удобнее задать ее операционно. Примером такой категории может быть катего­рия глаголов прошедшего времени. Определение принадлеж­ности к ней будет заключаться не в сопоставлении с фиксиро­ванным списком слов, а в распознавании грамматических при­знаков глагола прошедшего времени.

Более сложными являются категории, состоящие не просто из отдельных слов, а из целых словосочетаний. Например, ка­тегория МОРЕ (Черное море, Средиземное море, Красное море, Балтийское море,...).

Контент-анализ с использованием категорий позволяет оце­нивать тексты на более высоком абстрактном уровне. Резуль­таты, получаемые с их помощью, качественно богаче. Возьмем, например, категории ПОЗИТИВ, НЕГАТИВ, АГРЕССИВНОСТЬ, АРМИЯ, ПОЛИТИКА, ЭКОНОМИКА, РАЗВЛЕЧЕНИЯ, ЗАКОН и подсчитаем частоты их встречаемости в интересующем нас издании на протяжении нескольких месяцев. Затем сопоставим, подсчитаем корреляцию с ежемесячными рейтингами этого же издания среди различных социально-демографических групп. Положительные и отрицательные коэффициенты корреляции между частотами отдельных категорий и рейтингами подска­жут, статьи какой тематики привлекают или отталкивают чита­телей той целевой группы, на которую рассчитано издание.

Можно подсчитывать частоту абзацев, обладающих определенными признаками. Более крупными элементами яв­ляются целые тексты — статьи и книги. Например, подсчет ча­стоты статей различной тематики позволяет делать выводы о редакционной политике издания. Аналогичный подсчет тема­тики книг, поступающих в научную библиотеку, позволяет су­дить о тенденциях в развитии науки, перспективных направле­ниях исследований и т. д.

7.2. УСЛОВНЫЕ ЧАСТОТЫ

Простые частоты являются не самой подходящей оценкой текстов. Проблемы с ними могут возникнуть в том случае, если мы захотим сравнить разные по длине тексты. Например, пусть в некотором тексте t₁ длиной в 1000 слов категория НЕГАТИВ встречается с частотой 20, а в тексте t₂ длиной в 10000 слов — с частотой 100. Является ли пятикратная разница частот доста­точным основанием для утверждения, что текст t₂ окрашен бо­лее негативно, чем текст t₁? Очевидно, что нет. Для вынесения такого утверждения необходимо сравнивать не простые часто­ты, а условные, т. е. доли, которые составляет категория НЕГА­ТИВ в первом и втором тексте.

Условную частоту характеристики c в тексте t обозначим посредством pr(c,t). Вычисляется она по формуле:

pr(c,t) = f(c,t) / L(t), где L(t) – длина текста t.

В зависимости от того, что принято за элементы содержа­ния, в качестве длины текста может быть взято общее количе­ство в нем слов, предложений, абзацев и т. д. Если характерис­тика — это отдельное слово или категория слов, то и в качестве длины текста берется количество слов в нем.

В нашем примере pr(НЕГАТИВ, t₁) = 20 / 1000 = 0,02 больше, чем pr(НЕГАТИВ, t₂) = 100 / 10000 = 0,01. То есть более негативно ок­рашенным является не второй, а первый текст.

Иногда вместо условных частот удобнее использовать оцен­ку процентного содержания. Для этого просто умножают ус­ловную частоту на 100 и тем самым получают процентное со­держание.

Переход от использования простых частот к условным зна­чительно расширяет сферу применимости методов контент-ана­лиза. Если раньше все наши примеры имели дело с текстами одинаковой длины, то теперь это ограничение снято. Теперь мы можем сравнивать разные по длине статьи, разные по объему издания и пр.

7.3. НОРМЫ

До сих пор для того, чтобы делать какие-то выводы, нам тре­бовалось оценить как минимум два текста. Затем эти оценки либо сопоставлялись между собой, либо соотносились с некоторыми событиями в реальном мире и на основании этого дела­лись определенные выводы.

Представим, что перед нами поставлена задача классифика­ции текстов по медицинской и немедицинской тематике. При­чем требуется, чтобы это делал не человек, а компьютер. Реше­ние довольно очевидно. Текст должен быть отнесен к медицин­ским в том случае, если частота встречаемости медицинских терминов в нем существенно выше, чем в обычной речи. Для этого следует сформировать категорию медицинских терминов Km и сопоставить ей условную частоту встречаемости в обыч­ной речи pr(Km, речь), которую назовем нормой для категории Km. При анализе конкретного текста t подсчитывается услов­ная частота pr(Km, t). Если она существенно больше нормы pr(Km, речь), то текст t относят к медицинской тематике. Анало­гичная процедура может быть применена для дальнейшей клас­сификации текстов по различным разделам медицины. Доста­точно лишь сформировать соответствующие категории и сопо­ставить им нормы, но уже на основании не обычной речи, а анализа представительной выборки различных медицинских текстов. Задача по формированию норм облегчается тем, что в настоящее время существует довольно много частотных слова­рей, относящихся к различным сферам человеческой деятель­ности, и нормы можно извлекать из них. Нормы можно вычис­лять и для отдельных людей. Они могут оказаться весьма полез­ными, например, для определения душевного состояния чело­века. Так, превышение в речи относительно личной нормы час­тоты категории НЕГАТИВ может свидетельствовать о том, что человек находится в дурном настроении.

Важно подчеркнуть, что понятие нормы всегда относитель­но. Для сугубо гражданского человека норма частоты употреб­ления агрессивно окрашенной лексики одна, для профессио­нального военного — другая. Нормы могут меняться не только от одной профессионально определенной группы людей к дру­гой, но и со временем. Причиной тому служат исторические изменения в жизни общества, отмирание старых идей и появ­ление новых, заимствования из других языков, влияние на лек­сический состав языка таких факторов, как общественная мо­раль и пр.

Более строго понятие нормы можно определить следующим образом. Имеется некоторое множество текстов T, которые объединены вместе по определенному признаку. Нас интересует норма характеристики с для T. Так как множество текстов Т может быть слишком велико или недоступно целиком, то из него берется представительная конечная выборка и уже для нее вычисляется условная частота pr(c, V). Это и будет принято в качестве нормы характеристики с для Т, которую мы обозна­чим посредством nr(с, Т). Норма характеристики с для множе­ства текстов Т — это ожидаемая условная частота ее встречае­мости в произвольном тексте, принадлежащем данному множе­ству. Для представления того, как сильно отличается от ожида­емой частота встречаемости характеристики с в конкретном тексте , используются следующие оценки:

pn(c, t, T) = pr(c, t) / nr(c, T) — во сколько раз отличается pr(c, t) от nr(с, Т);

pd(c, t, T) = [[pr(c, t) — nr(c, T)] / nr(c, T)] * 100 — на сколько процентов отличается pr(c, t) от nr(с, Т).

Аналитика в первую очередь интересуют те тексты, для ко­торых оценка pn(c, t, T) существенно отличается от 1 или же оцен­ка pd(c, t, T) существенно отличается от 0. При этом дополни­тельного уточнения требует термин существенно отличаться. На помощь приходит аппарат математической статистики. Обычно считают, что характеристика с имеет в тексте t бино­миальное распределение с вероятностью nr(с, Т). Пусть реально в тексте t характеристика с встретилась pr(c, t) * L(t) раз, в то вре­мя как ожидалось nr(c, T) * L(t). Исходя из свойств биномиально­го распределения легко подсчитать, насколько мала вероятность того, что для произвольного текста t_i абсолютная величина abs(pr(c, t_i) — nr(c, T)) * L(t_i) abs(pr(c, t) — nr(c, T)) * L(t). Если вычис­ленная таким образом вероятность не превышает порога 0,05 (или 0,01), считается, что отклонение реальной частоты от ожи­даемой существенно, т. е. не является случайным.

На практике гораздо чаще используют оценку, вычисляемую по формуле:

z(c, t, T) = [pr(c, t) - nr(c, T)] / SQRT[pr(c, t) * (l - pr(c, t)) / L(t)]

Это разница двух условных частот, нормированная по стан­дартному отклонению. Ее имеет смысл использовать лишь в том случае, если pr(c, t) * (l—pr(c, t)) * L(t) 25. Эта оценка хорошо изве­стна психологам и социологам. Именно с ее помощью обосно­вываются методы вычисления баллов многих психологических тестов. Если abs(z(c, t, T)) l,96, то мы сразу можем сказать, что вероятность данного события не превышает 0,05. Если же abc(z(c, t, T)) 2,58, то вероятность этого события еще меньше и не превышает 0,01. Из формулы видно, что данная оценка пря­мо пропорциональна корню квадратному из длины текста t. Именно поэтому ее можно использовать для определения того, что данное событие не является случайным, но не для оценки того, насколько велико отклонение реальной частоты от ожи­даемой. К сожалению, многие психологи и социологи не разли­чают этого и потому их выводы очень далеки от научности. В применении к методам психологического тестирования заме­чательную критику по этому вопросу дал А.Г. Шмелев (1).

7.4. КОНТЕКСТНЫЙ АНАЛИЗ

Основная идея контекстного анализа заключается в том, что анализу подвергается не весь текст, а лишь некоторая выборка из него, являющаяся контекстом употребления характеристи­ки с. Есть много способов задать контекст. Например, для слова (характеристики) w в качестве его контекста мы можем взять все предложения (абзацы, статьи, книги), в которых оно встре­чается. Вместо предложений мы можем считать контекстом по одному или более слов слева и справа от каждого вхождения w в текст.

Если текст t рассматривать как множество предложений, а предложение s рассматривать как множество слов, то контекст категории C в тексте t можно определить как

ctx(C, t) = {s - {w} | w С, w s, s t}.

Выделенный контекст может анализироваться как самосто­ятельно, так и относительно основного текста. Во втором слу­чае основной текст служит источником норм, которые затем используются при анализе контекста, т.е. для произвольной категории K мы интересуемся условной частотой pr(K, ctx(C, t)) и сравниваем ее с нормой nr(K, t), вычисляемой как: pr(K,t — {С}), где t — {C} = {s - {w} | w C, s t}.

Дополнительно к этому мы можем выделить множество слов col(C, t) = {w | pr(w, ctx(C, t)) существенно больше pr(w, t - {С})}.

В англоязычной литературе по контент-анализу такое мно­жество называется collocation категории С. Отношение суще­ственно больше валидизируется с помощью аппарата матема­тической статистики по аналогии с тем, как это описывалось выше. Множество col(C, t) содержит много полезной информации о категории С. Например, col({змея}, речь) будет включать в себя такие слова, как яд, кусать, ползать, пресмыкающееся, ... , а в col({Путин}, СМИ) войдут слова Владимир, президент, Кремль, Россия, …

7.5. СВЯЗИ КАТЕГОРИЙ

Мы можем интересоваться не только оценками данного тек­ста по отдельным категориям, но и их взаимосвязями.

Любому тексту t, рассматриваемому как последовательность предложений <s₁ … s_n>, и категории C может быть сопоставлен булевой вектор b(t, C) = <v₁ ... v_n>, где v₁ = 1, если для некоторого w С имеет место w s_i и v_i = 0 в противном случае. На множе­стве векторов легко определить логические операции. Для двух векторов b(t, C_i) = <v₁, ...v_n> и b(t, C_j) = <u₁, ... u_n> они определяют­ся следующим образом:

b(t, C_i) & b(t, C_j) = <min(v₁, u₁), ..., min(v_n, u_n)> — конъюнкция;

b(t, C_i) b(t, C_j) = <max(v₁, u₁,), ..., max(v_n, u_n)> — дизъюнкция;

b(t, C_i) = <l – v₁, ..., l — v_n> — отрицание.

Затем на множестве векторов можно ввести логические от­ношения совместности, противоречия, подчинения и пр. Оче­видно, что таким образом задается некоторая логическая мо­дель предметной области, о которой идет речь в тексте, или же модель когнитивной карты, присущей автору текста. Дальней­шее изучение этих моделей проводится с использованием ап­парата классической, многозначной или вероятностной логики высказываний.

Особый интерес представляет анализ и визуализация отно­шений между категориями с использованием аппарата много­мерного шкалирования, кластерного и факторного анализа.

Определим на множестве категорий (булевых векторов, со­поставленных категориям) функцию близости. Для каждого вектора b(t, C_i) = <v₁, ..., v_n> вычисляется оценка:

, где j = 1, …, n

Тогда коэффициент корреляции для булевых векторов вы­числяется следующим образом:

cor(C_i, C_j) = (p_i&j – p_i*p_j) / sqrt(p_i * (l—p_i) * p_j * (l —p_j)),

а функцию близости можно определить как:

d(C_i, C_j) = 1 – cor(C_i, C_j)

Также в качестве оценки близости двух категорий часто ис­пользуется метрика Хемминга, определяемая посредством фор­мулы:

h(C_i, C_j) = p_i + p_j – 2 * p_i&j

7.6. КОНТЕНТ-МОНИТОРИНГ

Если анализу подвергается массив упорядоченных во време­ни текстов, поступивших из одного источника, речь идет уже не о простом контент-анализе, а о контент-мониторинге тек­стовой информации. В этом случае появляется дополнительная возможность применить математический аппарат многомерно­го регрессионного анализа и аппарат анализа временных ря­дов.

Так, контент-мониторинг пресс-релизов РАО ЕЭС дал воз­можность выявить закономерности, связывающие различные психолингвистические характеристики текстов с последующи­ми биржевыми изменениями курса акций компании. Примене­ние этих же закономерностей к анализу пресс-релизов компа­нии ENRON позволило обнаружить ее неблагополучие задолго до наступившего осенью 2001 года банкротства. То, чего не за­метили аудиторы, было обнаружено с использованием методов контент-мониторинга.

Другой пример контент-мониторинга связан с анализом пресс-релизов оборонного ведомства США и выявлением ин­дексных показателей, свидетельствующих о подготовке и про­ведении военных операций.

И последний пример контент-мониторинга — это анализ ди­намики избирательных кампаний с целью предсказания побе­дителя или внесения в нее необходимых корректив. Внешне неожиданный успех Сергея Глазьева на выборах красноярско­го губернатора также был предсказан на основании результа­тов сравнительного контент-мониторинга агитационных мате­риалов лидеров кампании.

7.7. ШКАЛИРОВАННЫЕ КАТЕГОРИИ

До сих пор под категорией понималось некоторое множе­ство характеристик, слов или словосочетаний, объединенных вместе по тому или иному признаку. В контент-анализе используются и более сложно устроенные категории, которые могут быть названы шкалированными. В них объединены ха­рактеристики, каждой из которых дополнительно присвоена одна или несколько оценок по заранее фиксированным шка­лам.

Например, А.Г. Шмелев с коллегами провел многолетние ис­следования по выявлению лексики, используемой для обозна­чения различных личностных черт. Было построено многомер­ное по числу выявленных личностных черт пространство и каж­дому из используемых слов была сопоставлена точка в этом пространстве. Координаты слова являются его оценками по каж­дой из шкал (осей) пространства. Всего было выявлено пятнад­цать устойчивых шкал — оценка эмоциональная, оценка интел­лектуальная, активность, сила эмоциональная, сила физичес­кая, раздражительность, практичность, нравственная оцен­ка, ригидность, демонстративность, деятельность, скрыт­ность, эгоизм, утонченность, необычность. Оценка текстов по этим шкалам может заключаться в вычислении средней оценки и сравнении ее с нормой.

Другой известный пример шкалированных категорий — это звукобуквы А.П. Журавлева, позволяющие по набору осгудовских шкал оценивать фоносемантический образ русскоязычных текстов и слов.

ВЫВОДЫ

Перечисленные выше математические методы компьютер­ного контент-анализа текстов далеко не исчерпывают всего многообразия. Например, ничего не было сказано о таком важ­ном направлении в контент-анализе, как алгоритмические ме­тоды автоматического формирования категорий. Это отдельная и большая тема, которая требует своего подробного рассмотре­ния. Мы надеемся обратиться к ней в одной из последующих работ.

Практически все упомянутые в данном разделе методы реа­лизованы в компьютерной экспертной системе ВААЛ. Она су­ществует вот уже десять лет и успела зарекомендовать себя как надежный и удобный инструмент контент-анализа текстов. Много дополнительной информации о системе и о результатах, полученных с ее помощью, можно найти в сети Интернет по адресу http://www.vaal.ru/