Добавил:
Upload Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз: Предмет: Файл:
Перевод СlojurePy_1nav.docx
Скачиваний:
2
Добавлен:
01.07.2025
Размер:
774 Кб
Скачать
☆

Исправление данных

Согласно неоднократно подтвержденной статистике, как минимум 80% рабочего времени исследователь-аналитик тратит на исправление данных. Эта процедура заключается в выявлении потенциально поврежденных или некорректных данных и их корректировке либо фильтрации.

Процесс исправления данных — один из важнейших (и трудоемких) аспектов работы с данными. Он является ключевым этапом, который гарантирует, что последующий анализ осуществляется на данных, которые являются состоятельными, правильными и согласованными.

Специальное значение nan в конце столбца года выборов может сигнализировать о грязных данных, которые требуется удалить. Мы уже убедились, что нужные столбцы данных в Pandas можно отобрать, указав их номера или имена. Для фильтрации записей данных можно воспользоваться одним из предикативных методов библиотеки Pandas.

Мы сообщаем библиотеке Pandas, какие записи мы хотим отфильтровать, передавая в таблицу данных в качестве аргумента логическое выражение с использованием предикативных функций. В результате будут сохранены только те записи, для которых все предикаты возвращают истину. Например, чтобы отобрать только пустые значения из нашего набора данных, нужно следующее:

def ex_1_5():

'''Вернуть отфильтрованную по полю "Год выборов"

запись в таблице данных (в виде словаря)'''

df = load_uk()

return df[ df['Election Year'].isnull() ]

 

Press Association Reference

Constituency Name

Region

Election Year

Electorate

Votes

AC

AD

AGS

...

650

NaN

NaN

NaN

NaN

NaN

29687604

NaN

NaN

NaN

...

Выражение dt['Election Year'].isnull() вернет булевую последовательность, в которой все элементы, кроме последнего, равны false, в резульате чего будет возвращена последняя запись таблицы. Если Вы знаете язык запросов SQL, то отметите, что этот метод очень похож на условный оператор WHERE.

Сложные запросы конструируются путем комбинирования логических выражений с операциями сравнения и предикатами при помощи операторов логического И (&) и логического ИЛИ (|) и логического отрицания (~). Например:

df = pd.DataFrame(sp.random.randn(6,4), index=dates, columns=list('ABCD'))

df = pd.DataFrame({'AAA' : [4,5,6,7], 'BBB' : [10,20,30,40],'CCC' : [100,50,-30,-50]})

df[(df.AAA <= 6) & (df.index.isin([0,2,4]))]

df[~((df.AAA <= 6) & (df.index.isin([0,2,4])))]

isnull()

notnull()

isin()

dt = dt[(df.a != -1) & (dt.b != -1)]

dt = dt[(df['a'] != -1) | (df['b'] != -1)]

dt[(df.AAA <= 6) & (df.index.isin([0,2,4]))]

булева индексация

df[df.A > 0]

df[df > 0]

s[(s < -1) | (s > 0.5)]

s[~(s < 0)]

df2[df2['E'].isin(['two','four'])]

булевы свертки empty, any(), all(), and bool()

(df > 0).all()

(bb.groupby(['year', 'team']).sum().loc[lambda df: df.r > 100])

criterion = df2['a'].map(lambda x: x.startswith('t'))

df2[criterion]

df2[criterion & (df2['b'] == 'x')]

Если встроенных операторов недостаточно, то последний оператор предоставляет возможность передать собственную функцию.

Присмотревшись к результатам примера ex_1_5, можно заметить, что в полученной записи все поля (кроме одного) имеют значение NaN. Дальнейший анализ данных подтверждает, что строка с непустым полем на самом деле является строкой итоговой суммы в листе файла Excel. Эту строку следует из набора данных удалить. Мы можем удалять проблемные строки путем обновления коллекции предикативной функцией notnull(), которая в данном случае вернет только те строки, в которых год выборов не равен nan:

df = load_uk()

return df[ df[ 'Election Year' ].notnull() ]

Приведенные выше строки нам почти всегда придется вызывать непосредственно перед использованием данных. Лучше всего это сделать, добавив еще одну реализацию функции загрузки данных по Великобритании load_uk_scrubbed с этим этапом фильтрации:

def load_uk_scrubbed():

'''Загрузить и отфильтровать данные по Великобритании'''

df = load_uk()

return df[ df[ 'Election Year' ].notnull() ]

Теперь при написании любого фрагмента кода с описанием доступа к набору данных в файле, можно выбирать вариант загрузки: обычный при помощи функции load_uk либо его аналог с очисткой данных load_uk_scrubbed. Приведенный выше пример должен вернуть список из 650 чисел, обозначающих количество избирателей в каждом избирательном округе Великобритании.

Внося исправления поверх загружаемых данных, мы сохраняем возможность проследить характер выполненных преобразований. В результате нам самим — и будущим читателям нашего исходного кода — становится понятнее, какие были внесены изменения в источник данных. Это также означает, что, как только потребуется снова запустить наш анализ, но уже с данными из нового источника, мы можем попросту загрузить новый файл, указав его вместо существующего.