- •Python для науки о данных: перезагрузка Ремикс популярной книги Генри Гарнера "Clojure для науки о данных", 2015
- •Об авторе оригинала книги
- •Содержание
- •Предисловие автора к оригиналу книги на Clojure
- •Статистика
- •Скачивание исходного кода примеров
- •Обследование данных
- •Исправление данных
- •Среднее значение
- •Интерпретация математических обозначений
- •Описательные статистики
- •Медиана
- •Дисперсия
- •Квантили
- •Дискретизация данных
- •Гистограммы
- •Нормальное распределение
- •Центральная предельная теорема
- •Булочник господина Пуанкаре
- •Генерирование распределений
- •Асимметрия
- •Графики нормального распределения
- •Способы сопоставительной визуализации
- •Коробчатые диаграммы
- •Интегральные функции распределения
- •Важность визуализации
- •Визуализация данных об электорате
- •Обработка столбцов
- •Добавление производных столбцов
- •Сопоставительная визуализация электоральных данных
- •Визуализация электоральных данных рф
- •Сравнительная визуализация
- •Функции массы вероятности
- •Точечные графики
- •Настройка прозрачности разброса
Исправление данных
Согласно неоднократно подтвержденной статистике, как минимум 80% рабочего времени исследователь-аналитик тратит на исправление данных. Эта процедура заключается в выявлении потенциально поврежденных или некорректных данных и их корректировке либо фильтрации.
Процесс исправления данных — один из важнейших (и трудоемких) аспектов работы с данными. Он является ключевым этапом, который гарантирует, что последующий анализ осуществляется на данных, которые являются состоятельными, правильными и согласованными.
Специальное значение nan в конце столбца года выборов может сигнализировать о грязных данных, которые требуется удалить. Мы уже убедились, что нужные столбцы данных в Pandas можно отобрать, указав их номера или имена. Для фильтрации записей данных можно воспользоваться одним из предикативных методов библиотеки Pandas.
Мы сообщаем библиотеке Pandas, какие записи мы хотим отфильтровать, передавая в таблицу данных в качестве аргумента логическое выражение с использованием предикативных функций. В результате будут сохранены только те записи, для которых все предикаты возвращают истину. Например, чтобы отобрать только пустые значения из нашего набора данных, нужно следующее:
def ex_1_5():
'''Вернуть отфильтрованную по полю "Год выборов"
запись в таблице данных (в виде словаря)'''
df = load_uk()
return df[ df['Election Year'].isnull() ]
|
Press Association Reference |
Constituency Name |
Region |
Election Year |
Electorate |
Votes |
AC |
AD |
AGS |
... |
650 |
NaN |
NaN |
NaN |
NaN |
NaN |
29687604 |
NaN |
NaN |
NaN |
... |
Выражение dt['Election Year'].isnull() вернет булевую последовательность, в которой все элементы, кроме последнего, равны false, в резульате чего будет возвращена последняя запись таблицы. Если Вы знаете язык запросов SQL, то отметите, что этот метод очень похож на условный оператор WHERE.
Сложные запросы конструируются путем комбинирования логических выражений с операциями сравнения и предикатами при помощи операторов логического И (&) и логического ИЛИ (|) и логического отрицания (~). Например:
df = pd.DataFrame(sp.random.randn(6,4), index=dates, columns=list('ABCD'))
df = pd.DataFrame({'AAA' : [4,5,6,7], 'BBB' : [10,20,30,40],'CCC' : [100,50,-30,-50]})
df[(df.AAA <= 6) & (df.index.isin([0,2,4]))]
df[~((df.AAA <= 6) & (df.index.isin([0,2,4])))]
isnull()
notnull()
isin()
dt = dt[(df.a != -1) & (dt.b != -1)]
dt = dt[(df['a'] != -1) | (df['b'] != -1)]
dt[(df.AAA <= 6) & (df.index.isin([0,2,4]))]
булева индексация
df[df.A > 0]
df[df > 0]
s[(s < -1) | (s > 0.5)]
s[~(s < 0)]
df2[df2['E'].isin(['two','four'])]
булевы свертки empty, any(), all(), and bool()
(df > 0).all()
(bb.groupby(['year', 'team']).sum().loc[lambda df: df.r > 100])
criterion = df2['a'].map(lambda x: x.startswith('t'))
df2[criterion]
df2[criterion & (df2['b'] == 'x')]
Если встроенных операторов недостаточно, то последний оператор предоставляет возможность передать собственную функцию.
Присмотревшись к результатам примера ex_1_5, можно заметить, что в полученной записи все поля (кроме одного) имеют значение NaN. Дальнейший анализ данных подтверждает, что строка с непустым полем на самом деле является строкой итоговой суммы в листе файла Excel. Эту строку следует из набора данных удалить. Мы можем удалять проблемные строки путем обновления коллекции предикативной функцией notnull(), которая в данном случае вернет только те строки, в которых год выборов не равен nan:
df = load_uk()
return df[ df[ 'Election Year' ].notnull() ]
Приведенные выше строки нам почти всегда придется вызывать непосредственно перед использованием данных. Лучше всего это сделать, добавив еще одну реализацию функции загрузки данных по Великобритании load_uk_scrubbed с этим этапом фильтрации:
def load_uk_scrubbed():
'''Загрузить и отфильтровать данные по Великобритании'''
df = load_uk()
return df[ df[ 'Election Year' ].notnull() ]
Теперь при написании любого фрагмента кода с описанием доступа к набору данных в файле, можно выбирать вариант загрузки: обычный при помощи функции load_uk либо его аналог с очисткой данных load_uk_scrubbed. Приведенный выше пример должен вернуть список из 650 чисел, обозначающих количество избирателей в каждом избирательном округе Великобритании.
Внося исправления поверх загружаемых данных, мы сохраняем возможность проследить характер выполненных преобразований. В результате нам самим — и будущим читателям нашего исходного кода — становится понятнее, какие были внесены изменения в источник данных. Это также означает, что, как только потребуется снова запустить наш анализ, но уже с данными из нового источника, мы можем попросту загрузить новый файл, указав его вместо существующего.
