4. Застосування методу Naive Bayas

Байєсова фільтрація спаму  - метод для фільтрації спаму , заснований на застосуванні наївного байєсівського класифікатора , в основі якого лежить застосування теореми Байєса .

Перша відома програма фільтруюча пошту, що використовує Баесівскій класифікатор, була iFile програма Джейсона Ренні, випущена в 1996. Програма використовувала сортування пошти у вигляді папок. Перша академічна публікація по наївній байєсівськії фільтрації спаму з'явилася в 1998 р. Незабаром після цієї публікації була розгорнута робота по створенню комерційних фільтрів спаму. Однак, у 2002 Стать Грем зміг значно зменшити число хибнопозитивних спрацьовувань до такої міри, що байєсовський фільтр міг використовуватися в якості єдиного фільтра спаму .

Модифікації основного підходу були розвинені в багатьох дослідницьких роботах і впроваджені в програмних продуктах. Багато сучасних поштових клієнтів здійснюють байєсівське фільтрування спаму. Користувачі можуть також встановити окремі програми фільтрування пошти. Фільтри для поштового сервера, такі як DSPAM , SpamAssassin , SpamBayes , SpamProbe , Bogofilter , CRM114 використовують методи байєсівського фільтрування спаму. Програмне забезпечення серверів електронної пошти або включає фільтри в свою поставку, або надає API для підключення зовнішніх модулів.

Характеристика методу

Даний метод простий (алгоритми елементарні), зручний (дозволяє обходитися без «чорних списків» і подібних штучних прийомів), ефективний (після навчання на досить великій вибірці відсікає до 95-97% спаму, і в разі будь-яких помилок його можна дообучать). Загалом, є всі показання для його повсюдного використання, що і має місце на практиці - на його основі побудовані практично всі сучасні спам-фільтри.

Втім, у методу є і принциповий недолік: він базується на припущенні , що одні слова частіше зустрічаються в спам, а інші - у звичайних листах , і неефективний, якщо дане припущення невірно. Втім, як показує практика, такий спам навіть людина не в змозі визначити «на око» - тільки прочитавши лист і зрозумівши його сенс. Існує метод «Байесового отруєння», що дозволяє додати багато зайвого тексту, іноді ретельно підібраного, щоб «обдурити» фільтр.

Ще один не принциповий недолік, пов'язаний з реалізацією - метод працює тільки з текстом. Знаючи про це обмеження, спамери почали вкладати рекламну інформацію в картинку. Текст же в листі або відсутня, або не несе сенсу. Проти цього доводиться користуватися або засобами розпізнавання тексту («дорога» процедура, застосовується тільки при крайній необхідності), або старими методами фільтрації - «чорні списки» і регулярні вирази (так як такі листи часто мають стереотипну форму).

Приклади застосування методу

Деякі приклади використання для побудови класифікатора:

• фільтрація спаму

• складання інтернет-каталогів

• підбір контекстної реклами

• в системах документообігу

• автоматичне реферування (складання анотацій)

• зняття неоднозначності при автоматичному перекладі текстів

• обмеження області пошуку в пошукових системах

• визначення кодування та мови тексту

Загалом, ви можете зробити набагато краще з більш спеціалізованою технікою, проте NBC є універсальним, простим в реалізації і досить хорошими для більшості додатків.