35. Типология и показатели оценки эффективности информационного поиска. Определение первичных координат описания выхода ипс.

2 вида критериев оценки:

-экономический: $$ и временные затраты (на разработку, тестирование, фикс. затраты на стандартные расходы вроде аренды);

-технический: способность обеспечения требуемого пользователю результата.

Экономическая эффективность.

Положения для анализа эффективности затрат:

1. Необходимость четкого определения целей системы.

2. Необходимость существ. альтернатив для достижения целей.

3. Необходимость определения стоимость реализации альтернатив.

4. Необходимость создания модели, связывающей стоимость реализации с целями.

5. Необходимость ранжирования альтернатив, т.е. для каждого случая надо оценить затраты и ожидаемую эффективность.

Техническая эффективность.

2 точки зрения: юзера и админа. Обоих интересует:

• Удовлетворяет ли система требованиям пользователей;

• В чем причины невыдачи релевантных док-ов;

• В чем причины выдачи нерелевантных док-ов;

• Расходы и доходы системы.

6 показателей эффективности ИС:

1. Полнота поиска – способность выдавать релев. док.

2. Точность – способность отфильтровывать нерелев. док.

3. Усилия на формулирование запросов и просмотр выданной информации.

4. Время между поступлением запроса и выдачей ответа.

5. Форма представления выдачи.

6. Полнота инф. массива в целом – степень охвата релевантных интересных пользователю док-ов.

Первичные координаты описания выхода ИПС – соотношение множеств выданных и невыданных док-ов.

Диаграмма <L> - соотношение множеств L₀-всего инф. потока, и L^и истинно релев. док-ов и L^c документов, выданных системой в ответ на поисковый запрос.

Таблица сопряженности <a,b,c,d> отображает количественное соотношение выданных и невыданных системой множеств релев. и нерелев. док-ов.

Диаграмма <n,x> -сочетание числа выданных релев. х и всего выданных n док-ов.

36. Основные частные и интегральные критерии оценки аипс.

	выданные	невыданные
Релев.	a	b
Нерелев.	c	d

Частные:

• Полнота r=a/(a+c)= x/x₀=|L^И ∩L^C|/|L^И|

• Точность p=a/(a+b)=x/n=|L^И ∩L^C|/|L^C|

• Специфичность σ=d/(b+d)=1- (n-x)/(n₀ – x₀)=|L₀\ (L^И UL^C)| / |L₀\L^И|

• Общность p₀- характеризует качество комплектования поискового массива ( доля релев. документов в информационном массиве): p₀=(a+c)/(a+b+c+d)=n/n₀=|L^И|/|L₀|

• Относительный объем выдачи: v=(a+b)/(a+b+c+d)=n/n₀=|L^C|/|L₀|

Интегральные. (используются, когда невозможно сравнить <r₁,p₁> <r₂,p₂> где p₁<p₂, r₁>r₂)

Коэффициент линейной корреляции R выдачи и релевантности документов – это корреляционный момент случайных величин С – «быть выданным док-ом» и И – «быть релев. док-ом». Принимают значения 0,1.

M[C]=P(C=1)= M[И]=(мат. ожидания)

σ²_с= σ²_и= (дисперсии)

cov_си=М[C*И]-M[C]*M[И]=

R(0)=0, R(p0)=0, R(И)=+1, R(Д)=-1, R(1)>0, R(2)>0, R(3)<0.

Обозначим |L^И ∩L^C=L, |L^И|=L^И, |L^C|=L^C, |L₀|=L₀

R=

Показатель полезной работы η

При непосредственном просмотре L₀ трудозатраты: С`=n`=x/p₀

При просмотре массива L^c имеющего точность р, затраты C``=n``=x/p

Работа АИПС равна разности данных величин или высвобожденной информационной деятельности потребителя: С_ис=n`-n``=x(1/p₀ – 1/p)=

η=C_ИС/(n0-x0)=r+σ-1

данная мера полезной работы изменяется от +1 до -1.