Предисловие автора к оригиналу книги на Clojure

"Статистические мышление однажды станет необходимым атрибутом действенного гражданского сознания в той же степени, что и способность читать и писать."

—Х. Г. Уэллс

"У меня для написания есть отличная тема [статистика], но остро чувствую свою литературную неспособность сделать ее доступной для понимания, не жертвуя точностью и скрупулезностью."

—Сэр Фрэнсис Гэлтон

Веб-поиск по запросу "наука о данных диаграмма Венна" возвращает многочисленные толкования навыков, которые требуются для того, чтобы стать эффективным аналитиком данных (создается впечатление, что обозреватели науки о данных обожают диаграммы Венна). Автор и аналитик данных Дрю Конвей еще в 2010 г. создал классическую диаграмму, поместив науку о данных на пересечение между хакерскими навыками (назовем их навыками алгоритмизации), знанием предметной области и осведомленностью в области математики и статистики. Причем между хакерскими навыками и знанием предметной области лежит "опасная зона", обозначающая тех, кто занимается наукой о данных без прочного фундамента в области математики и статистики,

В то время как вот уже 5 лет все возрастающее число разработчиков претендует на то, чтобы ликвидировать нехватку знаний в области науки о данных, потребность в статистическом и математическом образовании, помогающее разработчикам выбраться из этой опасной зоны, становится все больше, как никогда. Поэтому, когда издательство Packt Publishing пригласило меня написать книгу о науке о данных, предназначенную для программистов на языке Clojure, я с удовольствием согласился. Наряду с осознанием необходимости такой книги, я рассматривал это как возможность собрать воедино подавляющую часть того, что я узнал, будучи директором собственной компании, работающей в области анализа данных на языке Clojure. В результате получилась книга, которую мне следовало бы прочитать, прежде чем начинать дело.

Книга Clojure для Науки о данных стремится быть намного больше, чем просто книгой по статистике для программистов на Clojure. Одной из главных причин проникновения науки о данных в очень большое количество разнообразных сфер деятельности является огромная мощь методов машинного обучения. В этой книге я покажу, как использовать чистые функции языка Clojure и сторонние библиотеки для построения машинно-обучаемых моделей в целях решения основных задач регрессии, классификации, кластеризации и рекомендации данных.

Для аналитиков данных особенно интересны подходы, которые масштабируются до очень больших наборов данных, так называемых "больших данных", потому что они способны обнаруживать тонкости, которые затеряны в выборках меньших объемов. Эта книга показывает способы использования языка Clojure для краткого выражения поставленных задач, предназначенных для решения на платформах распределенного вычисления Hadoop и Spark, и способы внедрения методов машинного обучения с помощью специализированных внешних библиотек и универсальных методов оптимизации.

Прежде всего, эта книга стремится способствовать пониманию не только того, как выполнять определенные типы анализа, но и почему такие методы работают. Наряду с предоставлением практических знаний (почти каждое понятие в этой книге воплощено в форме выполнимого примера), я стремлюсь объяснять теорию, которая позволит Вам брать принцип и применять его к аналогичным задачам. Я надеюсь, что этот подход позволит Вам эффективно применять статистическое мышление в разнообразных ситуациях и в будущем, независимо от того, продолжите Вы карьеру в области науки о данных или нет.

1