Статистическое моделирование и анализ данных с применением языка программирования Python. Воробьев Э.И

−характеристики дифференциации и концентрации;

−характеристики формы распределения.

1.3.Статистические показатели

Обобщающие статистические показатели

Экономико-статистические показатели содержат количественную характеристику тех или иных свойств экономических явлений и представляют собой модель. С помощью показателей определяются результаты экономической деятельности и состояние общества. Система статистических показателей основана на содержательном единстве характеристик объекта исследования. Развитие систем статистических показателей происходит в соответствии с развитием отражаемой объективной реальности и в результате углубления процессов познания реальных систем.

Под статистическим показателем понимается количественная характеристика изучаемого объекта или его свойства. На этапе статистической сводки от индивидуальных значений признаков совокупности путем суммирования переходят к показателям совокупности, которые называются обобщающими.

Абсолютные и относительные статистические показатели

Абсолютными в статистике называются суммарные обобщающие показатели, характеризующие размеры, объемы, уровни, мощности, темпы и др. изменения величин. Абсолютные показатели являются именованными числами, т.е. измеримы. Существуют: натуральные, стоимостные и условнонатуральные (условное топливо, эталонные лошадиные силы) измерители. Они служат для описания фактического состояния объекта, установления плановых и прогнозных значений.

11

Абсолютные показатели могут быть сравнимы в разные периоды времени (прошлый, настоящий, будущий).

Абсолютные показатели позволяют точно характеризовать объект в данный момент времени, но должны уточняться в динамике (сопоставимые цены, инвестиции с учетом инфляции и т.д.).

Относительные статистические величины — это показатели в виде коэффициентов, характеризующих долю отдельных частей, изучаемой совокупности во всем ее объеме.

Относительные показатели при исследовании экономических явлений и процессов изучаются совместно с абсолютными показателями и обеспечивают сопоставимость сравниваемой и базовой величин.

Относительный показатель динамики (ОПД) представляет собой отношение уровня исследуемого процесса или явления за данный период времени (по состоянию на данный момент времени) к уровню этого же процесса или явления в прошлом.

Средние величины

Средняя величина является обобщающей характеристикой совокупности однотипных явлений по изучаемому признаку. Средняя величина должна вычисляться с учетом экономического содержания определяемого показателя.

Все виды средних величин делятся на:

−степенные (аналитические, порядковые) средние (арифметическая, гармоническая, геометрическая, квадратическая);

−структурные (позиционные) средние (мода и медиана) применяются для изучения структуры рядов распределения.

12

1.4. Программные пакеты для статистического анализа данных

Пакет STATISTICA. Производителем программы является фирма StatSoftInc. (США), которая выпускает статистические приложения, начиная с 1985 года. Пакет состоит из следующих основных частей:

−электронные таблицы для ввода исходных данных, а также специальные таблицы для вывода результатов анализа;

−графическая система для визуализации исходных данных и результатов статистического анализа;

−набор специализированных статистических модулей;

−встроенные языки программирования SCL и STATISTICA BASIC, которые позволяют пользователю расширить стандартные возможности системы.

STATISTICA включает большое количество методов статистического анализа (более 250 встроенных функций) объединенных следующими специализированными статистическими модулями: Основные статистики и таблицы, Непараметрическая статистика, Дисперсионный анализ, Множественная регрессия, Нелинейное оценивание, Анализ временных рядов и прогнозирование, Кластерный анализ, Факторный анализ, Дискриминантный функциональный анализ, Анализ длительностей жизни, Каноническая корреляция, Многомерное шкалирование, Моделирование структурными уравнениями и др. Несложный в освоении этот статистический пакет может быть рекомендован для биомедицинских исследований любой сложности.

Внастоящее время выпущена версия 7. Российское представительство компании (http://www.statsoft.ru/) предлагает полностью русифицированную 6-ю версию программы. Сайт компании содержит много информации по статистической обработке медицинских данных, учебник по статистике на русском языке.

13

В пакете STATISTICA имеется большое количество специализированных статистических графиков: гистограмм, графиков для анализа пропущенных данных и определения выбросов, «ящиков с усами» с разнообразными опциями по выбору средней точки и т. д.

Графики позволяют увидеть положение моды, медианы, среднего значения по отношению к максимальному и минимальному значениям.

Графики можно уменьшать, увеличивать, накладывать друг на друга, вращать, определять собственную палитру цветов, добавлять в график текст, рисунки, стрелки. Графики могут автоматически изменяться при изменении связанного с ним файла данных.

Пакет STADIA обладает развитой системой контекстной экранной помощи. Программа отечественной разработки с 16-и летней историей. Включает в себя все необходимые статистические функции. Она прекрасно справляется со своей задачей - статистическим анализом. Но. Программа внешне фактически не изменяется с 1996 года. Графики и диаграммы, построенные при помощи STADIA, выглядят в современных презентациях архаично. Цветовая гамма программы (красный шрифт на зеленом) очень утомляет в работе. К положительным качествам программы можно отнести русскоязычный интерфейс и наличие книг описывающих работу.

Специализированные пакеты посвящены решению узкого круга задач.

SPSS (Statistical Package for Social Science).Самый часто используемый пакет статистической обработки данных с более чем 30-и летней историей http://www.spss.com Отличается гибкостью, мощностью применим для всех видов статистических расчетов применяемых в биомедицине. Недавно вышла 13-я англоязычная версия. Существует русскоязычное представительство компании http://www.spss.ru которое предлагает полностью русифицированную версию SPSS 12.0.2 для Windows. Появился учебник на русском языке, позволяющий

14

шаг за шагом освоить возможности SPSS, репетитор по статистике на русском языке, помогающий в выборе нужной статистической или графической процедуры для конкретных данных и задач, а также справка по SPSS Base и SPSS Tables.

Пакет STATGRAPHICS PlusforWindows включает бо-

лее 250 процедур, применяющихся в бизнесе, экономике, медицине, биологии, социологии, психологии, на производстве и в других предметных областях, генерирует понятные, настраиваемые отчеты. Последняя доступная версия - 5.1. Ее можно получить на сайте http://www.statgraphics.com. Есть возмож-

ность скачать демо-версию.

Пакет имеет модульную структуру. Модуль «Контроль качества» предназначен для оценки эффективности производственного процесса. Модуль «Планирование эксперимента» помогает подобрать наилучший план измерений, за счет которого сокращается объем экспериментальных исследований и время их проведения. Модуль «Анализ временных рядов» позволяет выявить сезонные эффекты, циклические изменения, тренды (тенденции), ошибки и выбросы. Модуль «Многомерные методы» предназначен для изучения и раскрытия взаимоотношений множества факторов. С его помощью можно сортировать и группировать данные.

В пакете «Мезозавр» реализована оригинальная система экспертной оценки сложных моделей временных рядов.

STATA. Профессиональный статистический программный пакет с data-managementsystem, который может применятся для биомедицинских целей. Один из самых популярных в образовательных и научных учреждениях США наряду с SPSS. Официальный сайт http://www.stata.com Программа хорошо документирована, издается специальный журнал для пользователей системы.

Для обработки экспериментальных данных разработаны специализированные статистические пакеты:

профессиональные – SAS, BMDP, IMSL (они предназначены в основном для математиков высокой квалификации);

15

R – язык программирования для статистической обработки данных и работы с графикой, а также свободная программная среда научных вычислений с открытым исходным кодом. Имеет множество расширений (пакетов) для научных вычислений. Работает под Windows и Unix/Linux.

JMR. Один из мировых лидеров в анализе данных. Развивает этот статистический пакет SAS Institutehttp://www.jmp.com который выкупил в конце 2002 го-

да известную статистическую программу StatView.

SYSTAT Статистическая система для персональных компьютеров http://systat.com Последняя 11 версия обладает неплохим интуитивно понятным интерфейсом. Компания SystatSoftware также разрабатывает популярные у отечественных исследователей SigmaStat и SigmaPlot, которые являются соответственно, программой статистической обработки и программой построения диаграмм. При совместной работе становятся единым пакетом для статистической обработки и визуализации данных.

NCSS. Программа развивается с 1981 года и рассчитана на непрофессионалов в области статистической обработки. Интерфейс системы многооконный и как следствие этого явления - немного непривычный в использовании. Все действия пользователя сопровождаются подсказками. Сейчас доступна версия 2004 г. С сайта http://www.ncss.com можно переписать полнофункциональную пробную версию работающую 30 дней.

MINITAB 14. Статистический пакет MINITAB в настоящее время выпускается в версии 14. С сайта производителя http://www.minitab.com можно взять полнофункциональный пробный вариант программы, которая работает 30 дней. Это достаточно удобный в работе программный пакет, имеющий хороший интерфейс пользователя, хорошие возможности по визуализации результатов работы. Имеет подробную справку.

Для выполнения лабораторных работ были выбраны пакеты для математического моделирования и статистическо-

16

го анализа языка программирования Python. Он обладает значительной гибкостью в написании программ, имеет дружелюбный к новичкам синтаксис, а также его поддерживает огромное количество форумов и пользователей по всему миру. Программные среды и пакеты для языка Pythonявляются абсолютно бесплатными и распространяются свободно.

17

2. ЛАБОРАТОРНЫЙ ПРАКТИКУМ

2.1. Лабораторная работа №1

ЗНАКОМСТВО С ЯЗЫКОМ ПРОГРАММИРОВАНИЯ PYTHON. УСТАНОВКА ПРОГРАММНОЙ СРЕДЫ PYTHON, ПАКЕТОВ NUMPY, PANDAS, IPYTHON

Целью лабораторной работы является знакомство с языком Python. Установка программной среды для работы с этим языком. Настройка программного окружения для дальнейшей работы.

В результате выполнения лабораторных работ студенты должны знать:

−Процедуру установку программной среды Python на ПК с операционной системой Windows

−Процедуру установки дополнительных пакетов

−Методы работы с командной строкой Windows Используемые программно-технические средства: пер-

сональная ЭВМ класса IBM PC AT стандартной конфигурации; операционная система Windows XP/Vista/7/8, среда разработки для Python

Теоретические сведения

1. Общие сведения о языке программирования Python

Python является высокоуровневым языком общего назначения, применяющийся, помимо прочего, для выполнения статистических расчетов, моделирования и анализа данных. Для этого есть несколько причин:

−Понятный и удобочитаемый синтаксис.

−Богатая стандартная библиотека (в особенности, функции работы со строками). Доступно множество

18

сторонних библиотек, предназначенных для выполнения научно-исследовательских работ.

−Распространенность и поддержка. Python используют большое число людей и организаций во всем мире, поэтому он развивается и хорошо документирован.

−Открытость. Язык является кросс-платформенным и пользоваться им можно совершенно бесплатно.

Интуитивно понятный синтаксис Python зачастую называют исполняемым псевдокодом. Установка Python по умолчанию уже включает высокоуровневые типы данных, такие как списки, кортежи, словари, наборы, последовательности и так далее, которые уже нет необходимости реализовывать пользователю. Эти типы данных высокого уровня делают простой реализацию абстрактных понятий. Python позволяет программировать в любом знакомом вам стиле: объектноориентированном, процедурном, функциональном и так далее.

В Python просто обрабатывать и манипулировать текстом, что делает его идеальным для обработки нечисловых данных. Есть ряд библиотек для использования Python для доступа к веб-страницам, а интуитивно понятные манипуляции с текстом позволяют легко извлекать данные из HTML-кода.

Язык программирования Python популярен и множество доступных примеров кода делает обучение ему простым и достаточно быстрым. Популярность означает, что есть множество модулей предназначенных для различных приложений.

Python является популярным языком программирования в научных, а также финансовых кругах. Ряд библиотек для научных вычислений, таких как PandasиNumPy позволяют выполнять операции над векторами и матрицами. Это также делает код еще более читаемым и позволяет писать код, который выглядит как выражения линейной алгебры. Кроме того, научные библиотеки PandasиNumPy скомпилированы, используя языки низкого уровня (С и Fortran), что делает вычис-

19

ления при использовании этих инструментов значительно быстрее.

Python также имеет интерактивную оболочку, которая позволяет просматривать и проверять элементы разрабатываемой программы.

2. Преимущества и недостатки Python

Преимущества:

−Встроенная поддержка "длинной арифметики", комплексных чисел, списков, словарей, стеков, очередей и т.д.

−Кроссплатформенность

−Поддержка всех кодировок

−Большое количество библиотек на все случаи

−Интерпретируемый язык (можно менять код без перекомпиляции). Удобно писать служебные скрипты.

−Сборщик мусора позволяет не беспокоиться об освобождении памяти.

−Python сравнительно прост в изучении и позволяет выражать алгоритмы кратко и просто.

Недостатки:

−Низкая, в сравнении с компилируемыми языками, скорость выполнения (причины: интерпретация, динамическая типизация).

−Отсутствие библиотек для создания графических интерфейсов для Windows.

3.Сборщик пакетов pip

Сборка пакетов имеет решающее значение для успешной реализации проекта с открытым исходным кодом. Ключевой составляющей правильной сборки является управление версиями. Так как проект имеет открытый исходный код, вы можете захотеть опубликовать пакет, чтобы реализовать все

20