Обучение нейросети
Одно из важнейших свойств нейронной сети – ее способность к самоорганизации, самоадантации с целью улучшения качества функционирования. Эта цель достигается путем обучения сети, алгоритм задается набором правил. Обучающие правила определяют, каким образом изменяются связи в ответ на входное воздействие. Обучение основано на увеличении силы связи (веса синапса) между одновременно активными нейронами. Часто используемые связи усиливаются, и этим объясняется феномен обучаемости нейросети путем повторения и привыкания.
В процессе «обучения с учителем» на вход нейросети подаются входные значения и затем производится сравнение полученных выходных значений с требуемыми. Фактически требуемые (эталонные) значения выходов играют роль «учителя», каждый раз давая урок нейросети.
В большинстве случаев ошибок прогноза нейросети складывается из двух основных составляющих. Первая из них определяется недостаточным качеством аппроксимации и наличием «шума» по входным данным, вторая – недостатком информации, поданной на вход нейросети при обучении. Недостаток информации обычно вызван либо отсутствием во входах важных для прогноза переменных, или/и малым размером обучающей выборки, не отражающей всей полноты картины.
Извлечение знаний из данных.
Knowledge Discovery in Databases (Обнаружение знаний в базах данных)
Процесс обнаружения полезных знаний в базах данных. Эти знания могут быть представлены в виде закономерностей, правил, прогнозов, связей между элементами данных и др. Главным инструментом поиска знаний в процессе KDD являются аналитические технологии Data Mining, реализующие задачи классификации,кластеризации, регрессии, прогнозирования, предсказания и т.д.
Однако в соответствии с концепцией KDD эффективный процесс поиска знаний не ограничивается их анализом. KDD включает последовательность операций, необходимых для поддержки аналитического процесса. К ним относятся:
Консолидация данных – процесс их извлечения из различных источников (OLTP-систем, СУБД, файлов отдельных пользователей, Интернета и т.д.) и загрузка в централизованное хранилище данных.
Подготовка анализируемых выборок данных (в том числе обучающих), загрузка их из хранилища или других источников в аналитическое приложение.
Очистка данных от факторов, мешающих их корректному анализу, таких как шумы и аномальные значения, дубликаты, противоречия, пропуски, фиктивные значения и т.д.
Трансформация – оптимизация данных для решения определенной задачи. Обычно на этом этапе выполняется исключение незначащих факторов, снижение размерности входных данных, нормализация, обогащение и другие преобразования, позволяющие лучше «приспособить» данные к решению аналитической задачи.
Анализ данных – применение методов и технологий Data Mining: построение и обучение моделей (нейронных сетей, деревьев решений, карт Кохонена и др.), решение задач классификации и регрессии, кластеризации, прогнозирования, поиска ассоциаций и т.д.
Интерпретация и визуализация результатов анализа, их применение в бизнес-приложениях.
Knowledge Discovery in Databases не задает набор методов обработки или пригодные для анализа алгоритмы, он определяет последовательность действий, которую необходимо выполнить для того, чтобы из исходных данных получить знания. Этот подход универсальный и не зависит от предметной области, что является его несомненным достоинством.
Машинное обучение на примерах
Обучение на примерах (англ. Learning from Examples) - вид обучения, при котором интеллектуальной системе предъявляется набор положительных и отрицательных примеров, связанных с какой-либо заранее неизвестной закономерностью. В интеллектуальных системах вырабатываются решающие правила, с помощью которых происходит разделение множества примеров на положительные и отрицательные. Качество разделения, как правило, проверяется экзаменационной выборкой примеров.
Машинное обучение (англ. Machine Learning) — обширный подраздел искусственного интеллекта, изучающий методы построения моделей, способных обучаться, иалгоритмов для их построения и обучения. Различают два типа обучения. Обучение по прецедентам, или индуктивное обучение, основано на выявлении закономерностей в эмпирических данных. Дедуктивное обучение предполагает формализацию знаний экспертов и их перенос в компьютер в виде базы знаний. Дедуктивное обучение принято относить к области экспертных систем, поэтому термины машинное обучение и обучение по прецедентам можно считать синонимами.
ИНФОРМАТИКА И ПРОГРАММИРОВАНИЕ