2.2. Группировка данных в вариационный ряд

Преобразуем приведенную выше таблицу 6 следующим образом.

Таблица 7 – Частотная таблица по диаметру стволов

Диаметры стволов	12	16	20	24	28	32	36	48	52
Частоты	1	2	1	3	3	2	1	1	1

Нетрудно заметить, что подобные преобразования возможны для любой дискретной переменной. В рассматриваемом примере диаметры стволов были измерены по четырехсантиметровым ступеням толщины. Таким образом, непрерывно изменяющаяся величина - диаметры деревьев преобразованы в дискретную величину на стадии полевых наблюдений. Поэтому для получения частотной таблицы оставалось только подсчитать количество повторяющихся значений диаметров и результаты записать в таблицу. Такие таблицы полезны для решения следующих задач:

1) Обнаружить грубые ошибки в полевых материалах.

2) Обнаружить так называемые выбросы.

3) Получить эмпирический ряд распределения.

Анализ приведенной выше таблицы показывает, что грубых промахов при обмере и записи диаметров стволов не было, так как все приведенные диаметры вполне возможны. Что касается второй задачи, то следует указать на отрыв от основной массы двух высших ступеней толщины - 48 и 52. Нет ни одного ствола диаметром 40 и 44. Это обстоятельство говорит о низкой однородности выборки. Вероятнее всего исследуемый древостой разновозрастный и в нем присутствуют несколько возрастных групп. Оторвавшиеся от основной массы две ступени являются представителями старшего поколения. Если старшего поколения достаточно много, то его следует изучать как самостоятельную генеральную совокупность. Вполне вероятно выглядит объяснение отрыва двух ступеней толщины недостаточным объемом наблюдений.

Для получения не искаженной характеристики основного элемента леса необходимо добиться устойчивости в распределении деревьев в выборке. Если и в выборке достаточно большого объема сохранится отрыв этих двух ступеней, тогда их следует считать выбросами и при обработке материала их следует исключить. Для окончательного решения об исключении крайних значений используют критерии значимости. (Митропольский, стр. 84). Решение также зависит от плана эксперимента и его целей.

Подобным образом можно получить частотную таблицу и для качественных переменных. Разнообразие качества переменной величины может быть отражено порядковыми номерами или буквами алфавита. Такие переменные измеряются в шкале наименований или порядковой нумерацией. Остается подсчитать число появлений чисел, букв или специальных символов и получится частотный ряд распределения по качественному признаку.

Группировка данных непрерывных переменных величин.

Большинство переменных имеют только нижний и верхний пределы своих значений (наименьшее и наибольшее). Разность между ними составляет размах варьирования признака. Между наименьшим и наибольшим значениями случайная величина может принимать любые значения. При измерении таких переменных необходимо определить величину округления, т.е. установить точность одного измерения значения переменной величины. Точность измерения зависит от точности прибора и целей эксперимента. При использовании мерной вилки точность определения высоты не превышает 1м, поэтому записывать высоту с точностью до 0,5 не имеет смысла. При использовании специальных высотомеров хорошей конструкции шкала измерений позволяет снимать отсчет с точностью до 0,5м. Следовательно, данные обмера высот деревьев должны записываться в метрах с одним десятичным знаком, округленным до 0,5. Размах варьирования по высоте деревьев может достигать 15-20 метров. Поэтому всего может быть 30-40 интервалов.

При измерении диаметров мерной вилкой цена одного деления составляет 0,5 см. Размах варьирования по диаметру стволов составляет в спелых древостоях 50-60 см. При точности измерения 0,5 см будет в выборке 100-120 интервалов. Если для получения частотной таблицы (распределения) воспользоваться описанным выше методом, то для достижения состояния устойчивости распределения потребуется измерить много сотен деревьев. Поэтому разработан другой способ получения частотной таблицы, который позволяет достичь состояния устойчивости при значительно меньших объемах выборки. Практически можно считать, что устойчивость достигнута, если в малочисленных классах количество значений не менее двух.

Работа по группировке выполняется в следующей последовательности.

1) В выборке найти максимальное и минимальное значения признака (можно методом ранжирования).

2) Рассчитать оптимальное количество интервалов.

3) Рассчитать оптимальную величину интервала.

4) Рассчитать серединные значения интервалов.

5) Рассчитать нижние и верхние границы интервалов.

6) Провести точковку методом конвертов.

7) Определить частоты по классам.

8) Определить частости по классам.

9) Вычислить суммы частот и частостей для всей выборки.

Теперь более подробно о каждом из 9 пунктов.

1. Найти максимальное и минимальное значения проще всего поручить ЭВМ, как и все другие расчеты, так как машина сделает это лучше и быстрее человека. Но для начинающего исследователя полезно хотя бы один раз проделать это вручную. Большие выборки обычно не ранжируют, поэтому для нахождения максимального и минимального значений нужно несколько раз пробежать глазами всю выборку или поручить это ЭВМ. Найденные значения как-то отметить, выделить.

2. Оптимальное количество классов можно рассчитать по формуле 14 Стерджеса или по таблице 8.

K = 1 + 3,32 * lg n, (14)

где: K - округленное до целого оптимальное количество интервалов,

lg - десятичный логарифм,

n - объем выборки.

Таблица 8. Расчетное количество интервалов

Объем выборки, n	50	100	200	300	400	500
K=1+3.32*lg(n)	6.6	7.6	8.6	9.2	9.6	10.0

Оптимальное количество интервалов колеблется от 8 до 12, очевидно, что расчетная величина «K» должна быть округлена до целого значения.

В некоторых литературных источниках приведен другой алгоритм вычисления «K», формула 15.

K = 10*lg(n), (15)

причем указывается, что «К» может находиться в интервале от 5 до 30 классов.

Таблица 9 – Расчетное количество интервалов

Объем выборки, n	50	100	200	300	400	500
K=10*lg(n)	17	20	23	25	26	27

При использовании этого уравнения число классов почти в 3 раза больше того, что дает формула Стерджеса. Широко известный русский статистик, профессор математики А.К. Митропольский рекомендовал число разрядов - интервалов брать 12 при возможных отклонениях на 2-3 единицы в ту или другую сторону. Учитывая противоречивость рекомендаций разных авторов, следует предположить, что резкого влияния на решение задач, преследуемых группировкой, «K» не оказывает. Однако, как отмечалось выше, чем больше число интервалов, тем больше должна быть выборка для достижения устойчивости распределения. Полезно при выполнении студентами расчетно-графических работ провести эксперименты с целью выявить положительное и отрицательное влияние количества классов на статистический метод исследования переменных величин, и найти оптимальную формулу для вычисления количества интервалов. Оптимальным следует считать такое количество интервалов, которое лучше других решает три задачи:

1) Обнаружение грубых ошибок в выборке.

2) Обнаружение или локализация выбросов.

3) Получение эмпирического распределения переменной.

3. Величина интервала (d) рассчитывается по простому алгоритму (16), смысл которого состоит в том, чтобы длину целого отрезка разделить на «К» равных отрезков величиной «d». Величина целого отрезка равна размаху варьирования – «R», а формула выглядит так:

d = (X _max - X _min ) / K или d = R / K. (16)

Величина интервала округляется до удобного значения. Округлить можно в большую или меньшую сторону, до целого числа или дробного. Чтобы принять правильное решение нужно помнить, что интервал должен будет делиться пополам и в центре его указываться середина интервала.

4. Серединные значения интервалов часто используются в вычислениях, поэтому их величины желательно делать удобными, а именно целыми или с наименьшим числом десятичных знаков. Начинают с подбора серединного значения первого интервала. Если ряд будет выстраиваться по возрастанию, то за середину первого интервала необходимо взять такое удобное значение переменной величины, чтобы минимальное её значение в выборке обязательно вошло в первый интервал и желательно, чтобы оно было в нижней половине интервала. Иначе говоря, середина первого интервала не должна быть удаленной больше как на 0,5 *d от минимального значения. Серединные значения последующих интервалов получаются путем прибавления рассчитанной и округленной величины интервала к середине предыдущего интервала.

5. У каждого интервала есть нижняя и верхняя границы. Обе должны находиться на равном расстоянии от серединного значения интервала. Поэтому их численные величины определяют путем вычитания из серединного значения половины интервала и, соответственно, прибавления к серединному значению половины интервала. При выполнении этих действий нижние границы совпадают с верхними границами соседних (смежных) интервалов и возникает ситуация, когда неясно, в какой интервал должен быть занесен элемент выборки, значение которого совпадет с границами смежных интервалов. Чтобы исключить это, нижние границы увеличивают на точность измерения данной переменной величины.

6. После расчета середин и границ интервалов приступают к разноске значений случайной величины по интервалам. Заготавливают бланк по форме таблицы 11.

Таблица 11. Распределение (группировка) значений случайной величины

Середины интервалов	Границы интервалов	Распределение	Частоты
8	6,1 – 10,0	.–.	3
12	10,1 – 14,0	._. !_!	8

Берут первое значение выборки, определяют интервал, в границы которого оно входит, и ставят точку в одной из вершин будущего квадрата - конверта. Чтобы избежать пропусков или повторного использования одного значения, их следует каждый раз отмечать. Последующие значения, попадающие в этот интервал, отмечаются также точками в вершине квадрата, их всего в квадрате 4, пятую, шестую, седьмую и восьмую варианты заносят в этот квадрат в виде линий, соединяющих вершины квадрата, а девятую и десятую варианты заносят в виде диагоналей квадрата. Полный квадрат с 4 вершинами, 4 сторонами и 2 диагоналями содержит 10 учтенных значений (вариант). Одиннадцатая варианта начинает новый квадрат. Сторона квадрата обычно берется длиной 4-5 мм.

7. Частоты по интервалам указываются в цифрах.

8. Частости или относительные частоты по интервалам вычисляют путем деления частоты интервала на сумму всех частот в выборке (объем выборки).

9. Сумма частот равна объему выборки, а сумма частостей равна единице. Точность вычисления частостей обычно доводят до двух знаков после десятичной запятой.

Пример группировки непрерывной переменной. В таблице 12 приведены данные обмера высот спиленных учетных деревьев сосны в 75-летнем возрасте в Приангарье.

Таблица 12. Высоты деревьев, м

20,5	11,0	10,0	11,7	17,4	16,8	17,5	11,4	15,4	14,9
15,7	14,4	11,3	10,0	8,6	7,6	13,8	11,6	18,4	13,9
13,6	8,8	16,2	10,1	15,3	16,3	11,9	12,4	9,5	10,7
10,0	14,2	19,7	9,6	15,2	8,7	18,8	10,8	16,4	16,3
11,5	14,6	18,7	13,3	11,6	9,6	12,4	14,3	17,2	16,5
18,3	15,9	17,7	20,8	14,5	12,1	13,7	15,8	11,5	11,9
14,6	14,6	9,4	10,6	17,9	11,9	13,9	18,1	11,5	14,6
13,9	11,8	21,8	13,7	14,0	14,6	14,1	18,5	9,6	14,5
14,2	19,2	21,6	12,9	16,9	15,4	11,3	14,5	11,8	14,3
14,7	12,5	11,2	16,8	8,5	16,5	14,1	13,9	12,3	11,2

В таблице приведены высоты 100 деревьев. Следовательно, объем выборки 100 вариант. Как видно из таблицы, точность измерения высоты составляет 0,1м. В соответствии с приведенными выше объяснениями проведена поэтапная группировка.

1) Просмотр всех значений показал, что минимальное и максимальное значения соответственно равны 7,6 и 21,8 м.

2) Оптимальное количество интервалов составит:

K = 1 + 3.32 * lg100 = 1 + 3.32 * 2 = 7.64.

Количество интервалов следует округлить до 8. Итак, оптимальное количество интервалов для выборки объемом 100 вариант равно 8.

3) Оптимальная величина интервала:

d = (X _max - X _min ) / K = (21.8 - 7.6) / 8 = 1.77 м.

Нужно решить, до какой величины следует округлить значение интервала. Можно округлить до 1.8 м, можно до 2.0 м. То и другое значение делится на 2, что позволит легко находить серединное значение интервала. Однако для удобства следует взять величину интервала 2 м, при этом может произойти уменьшение числа интервалов на один по сравнению с расчетным числом интервалов. Ошибка в оптимальности «d» составит примерно 10 %, но за счет того, что нижняя граница начнется не с минимального значения, а с меньшего числа, число классов может достичь 8.

4) Вычисляются серединные значения классов. За серединное значение первого класса удобно взять величину 8 м. при минимальном значении 7,6 м. Серединные значения других интервалов будут получены путем прибавления величины класса - интервала. Они равны соответственно 8, 10, 12, 14, 16, 18, 20, 22. Расчет идет до тех пор, пока максимальное значение не войдет в последний интервал. В рассматриваемом примере максимальное значение равно 21,8 м, следовательно, класс 22 должен быть последним в ряду. Как и предполагали, число классов достигло 8.

5) Границы интервалов получаются следующие:

(7-9), (9-11), (11-13), (13-15), (15-17), (17-19), (19-21), (21-23).

Фактическое число интервалов совпало с расчетным потому, что первый класс начался не с минимального значения и последний интервал не заканчивается максимальным значением. За счет этого прибавился один класс.

Необходимо исключить совпадение нижних и верхних границ соседних интервалов. Сделать это удобно путем увеличения нижних границ классов на точность измерения. Исправленные границы классов будут следующими:

(7,1-9,0), (9,1-11,0), (11,1-13,0), (13,1-15,0), (15,1-17,0), (17,1-19,0), (19,1-21,0), (21,1-23,0).

При минимальном значении 7,6 м нижний класс начинается с 7,1 м и заканчивается на значении 9,0 м с серединным значением 8 м, что находится ровно на середине класса. Следующий класс начинается с 9,1м

Получение частот дополнительных пояснений не требует ввиду несложности работы, поэтому ниже приводится готовая частотная таблица. Следует только заметить, что частоты определяются по итогам точковки, а не наоборот.

Таблица 13 – Частотная таблица по высоте стволов 75-летнего сосняка Приангарья. Таблица распределения

Середины классов	Нижние границы	Верхние границы	Распределение	Частоты	Частости	Накопленные частоты ! частости
8,0	7,1	9,0		5	0,05	5	0,05
10,0	9,1	11,0		13	0,13	18	0,18
12,0	11,1	13,0		22	0,22	40	0,40
14,0	13,1	15,0		27	0,27	67	0,67
16,0	15,1	17,0		16	0,16	83	0,83
18,0	17,1	19,0		11	0,11	94	0,94
20,0	19,1	21,0		4	0,04	98	0,98
22,0	21,1	23,0		2	0,02	100	1,00

Следует обратить внимание на то, что серединные значения не одно и то же что и средние значения. Посмотрите на частоту первого класса. Она равна 5 деревьям. Если по диаметрам этих 5 деревьев, взятым из не сгруппированной выборки, вычислить средний диаметр, то результат, вероятнее всего, будет не равен серединному значению этого интервала. Это очевидно и не требует дополнительных пояснений. Поэтому называть серединные значения интервалов средними неправильно.

Анализ частотной таблицы предполагает решить три задачи.

Первая задача - выявить наличие грубых ошибок в значениях переменной величины. Для этого нужно проанализировать ряд частот. Если грубые ошибки в размерах переменной величины есть, то эти значения попали бы в класс, который оказался бы оторванным от остальных классов, т.е. между ним и основной частью ряда интервалов находился бы пустой класс. В таком случае нужно было бы рассмотреть причину отрыва крайнего класса от всего остального ряда интервалов. Возможно, что отрыв вызван неоднородностью или недостаточной численностью выборки. Неоднородность выборки можно исправить путем разделения генеральной совокупности на 2 или более генеральных совокупностей, а недостаточную численность выборки можно исправить только слиянием двух выборок, принадлежащих одной генеральной совокупности. Существуют методы оценки принадлежности двух выборок одной генеральной совокупности, о чем будет сказано в следующей главе. В примере с диаметрами сосны Приангарья грубых ошибок в величинах диаметров не обнаружено. При обнаружении грубых ошибок такие варианты из выборки должны быть исключены.

Вторая задача предполагает выявление выбросов. Есть ли выбросы в значениях переменной величины? Ряд частот имеет один максимум, в классе 14 находится одна наибольшая частота 27 вариант. Частоты в других классах снижаются по мере приближения от класса 14 к началу ряда и к его концу. Следовательно, выбросов нет, и выборка принадлежит одной однородной генеральной совокупности. При обнаружении выбросов необходимо дать им биологическое и статистическое объяснение и удалить выбросы или рассмотреть возможность деления выборки на 2 самостоятельные выборки. Как правило, сделать это в камеральных условиях без ошибок невозможно.

Третья задача (получение эмпирического распределения переменной) считается решенной, если первые две задачи не требуют внесения изменений в результаты группировки. В рассматриваемом примере никаких изменений вносить не требуется, поэтому можно считать, что все три задачи группировки выполнены. Результатом группировки является вариационный ряд, который является частью частотной таблицы.

Вариационный ряд есть два ряда чисел, из которых первый ряд, это серединные значения интервалов переменной величины (X_i), второй ряд - соответствующие им частоты, или частости (n_i).

Таблица 14 – Вариационный ряд частот по высоте стволов 75-летьней сосны Приангарья

Xi	8	10	12	14	16	18	20	22	Итого
ni	5	13	22	27	16	11	4	2	100

Таблица 15 –. Вариационный ряд частостей по высоте 75-летнего сосняка Приангарья

Середины классов	Частости
8,0	0,05
10,0	0,13
12,0	0,22
14,0	0,27
16,0	0,16
18,0	0,11
20,0	0,04
22,0	0,02
Итого	1,00

Вариационный ряд показывает, как изменяются частоты или частости по мере увеличения или уменьшения значений переменной величины. Однако увидеть более наглядно характер распределения вариант в выборке можно на графике.