4.6. Оценка качества документальных информационно-поисковых систем

Ранее отмечалось, что в ПОД и ПП отражается лишь основное смысловое содержание поступающих сообщений в сокращенном виде. Поэтому метод информационного поиска, основанный на сопоставлении ПП с ПОД, не в со­стоянии полностью обеспечить отыскания всех документов отвечающих ин­формационному запросу. Это приводит к тому, что часть документов, отвечаю­щих запросу, т.е. релевантных ему, остается невыданной потребителю. В то же время во множестве выданных ему документов присутствуют и такие, которые не отвечают запросу, т.е. не являются релевантными. Таким образом, практически любой реальной ДИПС присущи два основных типа ошибок:

• ошибки 1-го рода (или пропуск цели): невыдача потребителю фактичес­ки релевантных его запросу документов;

• ошибки 2-го рода (или ложная тревога, иначе шум): выдача потребите­лю нерелевантных документов, которые не отвечают поставленному зап­росу.

Наличие ошибок 1-го и 2-го рода в реальной системе обуславливает разбиение всего массива документов системы по отношению к запросу на 4 подмассива:

Разбиение массива документов

	Выданные	Невыданные
Релевантные	А	С
Нерелевантные	В	О

А - массив выданных релевантных документов;

В - массив выданных нерелевантных документов;

С - массив невыданных релевантных документов;

О - массив невыданных нерелевантных документов;

Введем следующие обозначения:

а - количество выданных релевантных документов;

b - количество выданных нерелевантных документов;

с - количество невыданных релевантных документов;

d - количество невыданных нерелевантных документов;

Существуют следующие показатели эффективности ДИПС:

1. Коэффициент полноты р, характеризующий долю выданных релевантных документов во всем массиве релевантных документов:

1. p = а/(а+с).

2. Коэффициент точности n, характеризующий долю выданных релевантных документов во всем массиве выданных документов:

n = а/(а+b).

3. Коэффициент шума е, характеризующий долю выданных нерелевантных документов во всем массиве выданных документов:

e = b/(a+d)=1-n.

4. Коэффициент осадка q, характеризующий долю выданных нерелевантных документов во всем массиве нерелевантных документов:

q = b/(b+d).

5. Коэффициент специфичности k, характеризующий долю невыданных нерелевантных документов во всем массиве нерелевантных документов:

k = d/(b+d)

Часто для удобства перечисленные показатели измеряют в %, т.е. в указан­ных формулах появляется дополнительный сомножитель 100 %.

При оценке качества реальных систем наиболее часто используются лишь коэффициенты полноты и точности. Ясно, что и точность поиска, и его полно­та зависят не только от свойств поисковой системы, но и от правильности пост­роения конкретного запроса, а также от субъективного представления пользо­вателя о том, что такое нужная ему информация. Однако при желании можно вычислить и средние значения полноты и точности для конкретной системы, протестировав ее на эталонной базе документов. Очевидно, хорошая поиско­вая система должна иметь как можно большие полноту и точность, желательно - 100%, т. е. находить все нужные документы и ни одного лишнего. Однако стопроцентное качество поиска невозможно, потому что на фиксированном уровне мощности поискового средства все попытки улучшить один из этих параметров приводят к ухудшению другого (см. рис. 4.6.)

Рис. 4.6. Пример зависимости между коэффициентами полноты и точности

Наряду с перечисленными показателями, которые основаны на сопряженности релевантности и выдачи, целесообразно использовать также и другие показатели эффективности, что обычно и делается на практике. К основным из них следует отнести:

• быстродействие ДИПС (интервал времени между моментом формули­ровки запроса и получением ответа на него);

• пропускная способность (оценивается количеством вводимых документов и количеством ответов в единицу времени при заданных значениях коэффициентов полноты и точности);

• производительность (оценивается количеством пользователей системы и частотой обращения с их стороны)

• надежность работы (оценивается вероятностью того, что система будет выполнять свои функции при заданных условиях в течении требуемого времени);

• тип запросов, обслуживаемых системой.