Простая линейная регрессия. Регрессионный анализ - статистический метод исследования зависимости случайной величины от переменных
y =f (x ), когда каждому значению независимой переменной x соответствует одно определённое значение величины y , при регрессионной связи одному и тому же значению x могут соответствовать в зависимости от случая различные значения величины y . Если при каждом значении x =x i наблюдается n i значений y i 1 …y in 1 величины y , то зависимость средних арифметических =(y i 1 +…+y in 1)/n i от x =x i и является регрессией в статистическом понимании этого термина .Этот термин в статистике впервые был использован Френсисом Гальтоном (1886) в связи с исследованием вопросов наследования физических характеристик человека. В качестве одной из характеристик был взят рост человека; при этом было обнаружено, что в целом сыновья высоких отцов, что не удивительно, оказались более высокими, чем сыновья отцов с низким ростом. Более интересным было то, что разброс в росте сыновей был меньшим, чем разброс в росте отцов. Так проявлялась тенденция возвращения роста сыновей к среднему (regression to mediocrity ), то есть «регресс». Этот факт был продемонстрирован вычислением среднего роста сыновей отцов, рост которых равен 56 дюймам, вычислением среднего роста сыновей отцов, рост которых равен 58 дюймам, и т. д. После этого результаты были изображены на плоскости, по оси ординат которой откладывались значения среднего роста сыновей, а по оси абсцисс - значения среднего роста отцов. Точки (приближённо) легли на прямую с положительным углом наклона меньше 45°; важно, что регрессия была линейной.
Итак, допустим, имеется выборка из двумерного распределения пары случайных переменных (X, Y ). Прямая линия в плоскости (x, y ) была выборочным аналогом функции
В этом примере регрессия Y на X является линейной функцией . Если регрессия Y на X отлична от линейной, то приведённые уравнения суть линейная аппроксимация истинного уравнения регрессии.
В общем случае регрессия одной случайной переменной на другую не обязательно будет линейной. Также не обязательно ограничиваться парой случайных переменных. Статистические проблемы регрессии связаны с определением общего вида уравнения регрессии, построением оценок неизвестных параметров, входящих в уравнение регрессии, и проверкой статистических гипотез о регрессии . Эти проблемы рассматриваются в рамках регрессионного анализа .
Простым примером регрессии Y по X является зависимость между Y и X , которая выражается соотношением: Y =u (X )+ε, где u (x )=E (Y | X =x ), а случайные величины X и ε независимы. Это представление полезно, когда планируется эксперимент для изучения функциональной связи y =u (x ) между неслучайными величинами y и x . На практике обычно коэффициенты регрессии в уравнении y =u (x ) неизвестны и их оценивают по экспериментальным данным.
Линейная регрессия (пропедевтика)
Представим зависимость y от x в виде линейной модели первого порядка:
Будем считать, что значения x определяются без ошибки, β 0 и β 1 - параметры модели, а ε - ошибка, распределение которой подчиняется нормальному закону с нулевым средним значением и постоянным отклонением σ 2 . Значения параметров β заранее не известны и их нужно определить из набора экспериментальных значений (x i , y i ), i =1, …, n . Таким образом мы можем записать:
где означает предсказанное моделью значение y при данном x , b 0 и b 1 - выборочные оценки параметров модели, а - значения ошибок аппроксимации.
Метод наименьших квадратов даёт следующие формулы для вычисления параметров данной модели и их отклонений:
здесь средние значения определяются как обычно: , и s e 2 обозначает остаточное отклонение регрессии, которое является оценкой дисперсии σ 2 в том случае, если модель верна.
Стандартные ошибки коэффициентов регрессии используются аналогично стандартной ошибке среднего - для нахождения доверительных интервалов и проверки гипотез. Используем, например, критерий Стьюдента для проверки гипотезы о равенстве коэффициента регрессии нулю, то есть о его незначимости для модели. Статистика Стьюдента: t =b /s b . Если вероятность для полученного значения и n −2 степеней свободы достаточно мала, например, <0,05 - гипотеза отвергается. Напротив, если нет оснований отвергнуть гипотезу о равенстве нулю, скажем b 1 - есть основание задуматься о существовании искомой регрессии, хотя бы в данной форме, или о сборе дополнительных наблюдений. Если же нулю равен свободный член b 0 , то прямая проходит через начало координат и оценка углового коэффициента равна
,а её стандартной ошибки
Обычно истинные величины коэффициентов регрессии β 0 и β 1 не известны. Известны только их оценки b 0 и b 1 . Иначе говоря истинная прямая регрессии может пройти иначе, чем построенная по выборочным данным. Можно вычислить доверительную область для линии регрессии. При любом значении x соответствующие значения y распределены нормально. Средним является значение уравнения регрессии . Неопределённость его оценки характеризуется стандартной ошибкой регрессии:
Теперь можно вычислить 100(1−α/2)-процентный доверительный интервал для значения уравнения регрессии в точке x :
,где t (1−α/2, n −2) - t -значение распределения Стьюдента. На рисунке показана линия регрессии, построенная по 10 точкам (сплошные точки), а также 95%-я доверительная область линии регрессии, которая ограничена пунктирными линиями. С 95%-й вероятностью можно утверждать, что истинная линия находится где-то внутри этой области. Или иначе, если мы соберём аналогичные наборы данных (обозначены кружками) и построим по ним линии регрессии (обозначены голубым цветом), то в 95 случаях из 100 эти прямые не покинут пределов доверительной области. (Для визуализации кликните по картинке) Обратите внимание, что некоторые точки оказались вне доверительной области. Это совершенно естественно, поскольку речь идёт о доверительной области линии регрессии, а не самих значений. Разброс значений складывается из разброса значений вокруг линии регрессии и неопределённости положения самой этой линии, а именно:
Здесь m - кратность измерения y при данном x . И 100(1−α/2)-процентный доверительный интервал (интервал прогноза) для среднего из m значений y будет:
.На рисунке эта 95%-я доверительная область при m =1 ограничена сплошными линиями. В эту область попадает 95 % всех возможных значений величины y в исследованном диапазоне значений x .
Литература
Ссылки
- (англ.)
Wikimedia Foundation . 2010 .
Смотреть что такое "Регрессия (математика)" в других словарях:
В Викисловаре есть статья «регрессия» Регрессия (лат. regressio «обратное движение, возвращение») многознач … Википедия
О функции, см.: Интерполянт. Интерполяция, интерполирование в вычислительной математике способ нахождения промежуточных значений величины по имеющемуся дискретному набору известных значений. Многим из тех, кто сталкивается с научными и… … Википедия
У этого термина существуют и другие значения, см. среднее значение. В математике и статистике среднее арифметическое одна из наиболее распространённых мер центральной тенденции, представляющая собой сумму всех наблюденных значений деленную на их… … Википедия
Не следует путать с японскими свечами. График 1. Результаты эксперимента Майкельсона Морли … Википедия
Начинающим · Сообщество · Порталы · Награды · Проекты · Запросы · Оценивание География · История · Общество · Персоналии · Религия · Спорт · Техника · Наука · Искусство · Философия … Википедия
РЕГРЕССИОННЫЙ И КОРРЕЛЯЦИОННЫЙ АНАЛИЗ - REGRESSION AND CORRELATION ANALYSISР.а. представляет собой вычисления на основе статистической информации с целью математической оценки усредненной связи между зависимой переменной и некоторой независимой переменной или переменными. Простая… … Энциклопедия банковского дела и финансов
Логотип Тип Программы математического моделирования Разработчик … Википедия
Лекция 4
- Элементы статистического анализа модели
- Проверка статистической значимости параметров уравнения регрессии
- Анализ дисперсии
- Проверка общего качества уравнения регрессии
- F-статистика. Распределение Фишера в регрессионном анализе.
Оценивая зависимость между эндогенными и экзогенными переменными (y и x) по выборочным данным не всегда удается на первом этапе получить удачную модель регрессии. При этом каждый раз следует оценивать качество полученной модели. Качество модели оценивается по 2м направлениям:
· Статистическая оценка качества модели
Статистический анализ модели включает следующие элементы:
- Проверку статистической значимости параметров уравнения регрессии
- Проверку общего качества уравнения регрессии
- Проверку свойств данных, выполнение которых предполагалось при оценивании уравнения
Статистическая значимость параметров уравнения регрессии определяется по t-статистике или статистике Стьюдента. Так:
tb – t-статистика для коэффициента регрессии b
mb – стандартная ошибка коэффициента регрессии.
Так же рассчитывают t-статистику для коэффициентов корреляции R:
Таким образом tb^2=t r ^2=F. То есть проверка статистической значимости коэффициента регрессии b равносильна проверке статистической значимости коэффициента корреляции
Коэффициент корреляции показывает тесноту корреляционной связи(между х и у).
Для линейной регрессии коэффициент корреляции:
Для определения тесноты связи используют обычно таблицу Чеглока
R 0,1 – 0,3 слабая
R 0,3 – 0,5 умеренная
R 0,5-,07 заметная
R 0,7-0,9 высокая
R 0,9 до 0,99 весьма высокая связь между х и у
Коэффициент корреляции -1 Часто для практических целей рассчитывают коэффициент эластичности, бета-коэффициент: Эластичностью функции у=f(x) называется предел отношения относительных переменных у и х Эластичность показывает на сколько %-в изменится у при изменении х на 1 %. Для парной линейной регрессии коэффициент эластичности вычисляется по формуле: Он показывает на сколько %-в изменится у в среднем при изменении х в среднем на 1 %. Бетта-коэффициент равен: – среднее квадрат отклонение x – Среднее квадрат отклонение у Бетта-коэффициент показывает на какую величину от своего среднего квадратического отклонения изменится у при изменении х на величину своего среднего квадратического отклонения. Анализ дисперсии В анализе дисперсии особое место занимает разложение общей суммы квадратов отклонений переменой у от у среднего на две части: на сумму объясненную регрессией и сумму, не объясненную регрессией. Общая сумма квадратов отклонений равна сумме квадратов отклонений объясненной регрессией плюс остаточной сумме квадратов отклонений. Эти суммы связаны с числом степеней свободы df – это число свободы независимого варьирования признаков. Так общая сумма квадратов отклонений имеет общее число степеней свободы (n – 1). Сумма квадратов отклонений объясненная регрессией имеет степень свободы 1, так как переменная зависит от одной величины – коэффициента регрессии b. Между числом степеней свободы существует равенство, из которого: N – 1 = 1 + n – 2 Разделим каждую сумму на соответствующее число степеней свободы, получим средний квадрат отклонений или дисперсию: D общ = D факт + D ост Оценить общее качество уравнения регрессии означает, установить соответствует ли математическая модель, выражающая зависимость между переменными экспериментальным данным и достаточно ли включенных в модель переменных, объясняющих у. Оценить общие качества модели = оценить надежность модели = оценить достоверность уравнения регрессии. Оценка общего качества модели регрессии осуществляется на основе дисперсионного анализа. Для оценки качества модели рассчитывают коэффициент детерминации: В числителе выборочная оценка остаточной дисперсии, в знаменателе выборочная оценка общей дисперсии. Коэффициент детерминации характеризует долю вариации зависимой переменной, объясненной с помощью уравнения регрессии. Так, если R квадрат равен 0,97 это значит что на 97% изменений у обусловлено изменением х. Чем ближе R квадрат к единице, тем сильнее статистически значимая линейная связь между х и у. Для получения не смещенных оценок дисперсии(коэффициента детерминации) и числитель, и знаменатель в формуле делят на соответствующее число степеней свободы: Для определения статистической значимости коэффициента детерминации R квадрат проверяется нулевая гипотеза для F-статистики, рассчитываемой по формуле: Для парной линейной: F-расчетная сравнивается со значением статистики в таблице. F-табличная рассматривается с числом степеней свободы m, n-m-1, при уровне значимости альфа. Если F расч> F табл то нулевая гипотеза отвергается, принимается гипотеза о статистической значимости коэффициента детерминации R квадрат. F-критерий Фишера = факторная дисперсия / на остаточную дисперсию: Лекция №5 Проверка свойств данных, выполнение которых предполагалось при оценивании уравнения регрессии 1. Автокорреляция в остатках 2. Статистика Дарбина-Уотсона 3. Примеры При оценивании параметров модели регрессии предполагается, что отклонении
1. В случае, если взаимосвязь между х и у не линейна. 2. Связь между переменными х и у линейна, но на исследуемый показатель воздействует фактор, не включенный в модель. Величина такого фактора может менять свою динамику за рассматриваемый период. Особенно это характерно для лаговых переменных. Обе причины свидетельствуют о том, что полученное уравнение регрессии можно улучшить, оценив нелинейную зависимость или добавив в исходную модель дополнительный фактор. Четвертая предпосылка метода наименьших квадратов говорит о том, что отклонения являются независимыми между собой, однако при исследовании и анализе исходных данных на практике встречаются ситуации, когда эти отклонения содержат тенденцию или циклические колебания. Парная регрессия - уравнение связи двух переменных у и х: , где y - зависимая переменная (результативный признак); x - независимая, объясняющая переменная (признак-фактор). Различают линейные и нелинейные регрессии.
Задача дисперсионного анализа состоит в анализе дисперсии зависимой переменной:
F-тест - оценивание качества уравнения регрессии - состоит в проверке гипотезы Но о статистической незначимости уравнения регрессии и показателя тесноты связи. Для этого выполняется сравнение фактического F факт и критического (табличного) F табл значений F-критерия Фишера. F факт определяется из соотношения значений факторной и остаточной дисперсий, рассчитанных на одну степень свободы:
Уравнение регрессии: у =
76,88 - 0,35х.
С увеличением среднедневной заработной платы на 1 руб. доля расходов на покупку продовольственных товаров снижается в среднем на 0,35 %-ных пункта.
поскольку 1< F
<
¥
, следует рассмотреть F
-1 .
Для расчетов используем данные табл. 1.3. Таблица 1.3 Рассчитаем С иb:
1в
. Построению уравнения показательной кривой предшествует процедура линеаризации переменных при логарифмировании обеих частей уравнения:
Значения параметров регрессии A и В
составили:
ВЫВОД ИТОГОВ Сначала рассмотрим верхнюю часть расчетов, представленную в таблице 8.3а , - регрессионную статистику. Величина R-квадрат
, называемая также мерой определенности, характеризует качество полученной регрессионной прямой. Это качество выражается степенью соответствия между исходными данными и регрессионной моделью (расчетными данными). Мера определенности всегда находится в пределах интервала . В большинстве случаев значение R-квадрат
находится между этими значениями, называемыми экстремальными, т.е. между нулем и единицей. Если значение R-квадрата
близко к единице, это означает, что построенная модель объясняет почти всю изменчивость соответствующих переменных. И наоборот, значение R-квадрата
, близкое к нулю, означает плохое качество построенной модели. В нашем примере мера определенности равна 0,99673, что говорит об очень хорошей подгонке регрессионной прямой к исходным данным. Множественный R
- коэффициент множественной корреляции R - выражает степень зависимости независимых переменных (X) и зависимой переменной (Y). Множественный R
равен квадратному корню из коэффициента детерминации, эта величина принимает значения в интервале от нуля до единицы. В простом линейном регрессионном анализе множественный R
равен коэффициенту корреляции Пирсона. Действительно, множественный R
в нашем случае равен коэффициенту корреляции Пирсона из предыдущего примера (0,998364). Теперь рассмотрим среднюю часть расчетов, представленную в таблице 8.3б . Здесь даны коэффициент регрессии b (2,305454545) и смещение по оси ординат, т.е. константа a (2,694545455). Исходя из расчетов, можем записать уравнение регрессии таким образом: Y= x*2,305454545+2,694545455 Направление связи между переменными определяется на основании знаков (отрицательный или положительный) коэффициентов регрессии
(коэффициента b). Если знак при коэффициенте регрессии
- положительный, связь зависимой переменной с независимой будет положительной. В нашем случае знак коэффициента регрессии положительный, следовательно, связь также является положительной. Если знак при коэффициенте регрессии
- отрицательный, связь зависимой переменной с независимой является отрицательной (обратной). В таблице 8.3в . представлены результаты вывода остатков
. Для того чтобы эти результаты появились в отчете, необходимо при запуске инструмента "Регрессия" активировать чекбокс "Остатки". ВЫВОД ОСТАТКА При помощи этой части отчета мы можем видеть отклонения каждой точки от построенной линии регрессии. Наибольшее абсолютное значение Что такое регрессия?
Рассмотрим две непрерывные переменные x=(x 1 , x 2 , .., x n), y=(y 1 , y 2 , ..., y n).
Разместим точки на двумерном графике рассеяния и скажем, что мы имеем линейное соотношение
, если данные аппроксимируются прямой линией.
Если мы полагаем, что y
зависит от x
, причём изменения в y
вызываются именно изменениями в x
, мы можем определить линию регрессии (регрессия y
на x
), которая лучше всего описывает прямолинейное соотношение между этими двумя переменными. Статистическое использование слова "регрессия" исходит из явления, известного как регрессия к среднему, приписываемого сэру Френсису Гальтону (1889).
Он показал, что, хотя высокие отцы имеют тенденцию иметь высоких сыновей, средний рост сыновей меньше, чем у их высоких отцов. Средний рост сыновей "регрессировал" и "двигался вспять" к среднему росту всех отцов в популяции. Таким образом, в среднем высокие отцы имеют более низких (но всё-таки высоких) сыновей, а низкие отцы имеют сыновей более высоких (но всё-таки довольно низких).
Математическое уравнение, которое оценивает линию простой (парной) линейной регрессии: x
называется независимой переменной или предиктором.
Y
- зависимая переменная или переменная отклика. Это значение, которое мы ожидаем для y
(в среднем), если мы знаем величину x
, т.е. это «предсказанное значение y
» Парную линейную регрессию можно расширить, включив в нее более одной независимой переменной; в этом случае она известна как множественная регрессия
. Рис.1. Линия линейной регрессии, показывающая пересечение a и угловой коэффициент b (величину возрастания Y при увеличении x на одну единицу)
Мы выполняем регрессионный анализ, используя выборку наблюдений, где a
и b
- выборочные оценки истинных (генеральных) параметров, α и β , которые определяют линию линейной регрессии в популяции (генеральной совокупности).
Наиболее простым методом определения коэффициентов a
и b
является метод наименьших квадратов
(МНК).
Подгонка оценивается, рассматривая остатки (вертикальное расстояние каждой точки от линии, например, остаток = наблюдаемому y
- предсказанный y
, Рис. 2).
Линию лучшей подгонки выбирают так, чтобы сумма квадратов остатков была минимальной. Рис. 2. Линия линейной регрессии с изображенными остатками (вертикальные пунктирные линии) для каждой точки.
Итак, для каждой наблюдаемой величины остаток равен разнице и соответствующего предсказанного Каждый остаток может быть положительным или отрицательным.
Можно использовать остатки для проверки следующих предположений, лежащих в основе линейной регрессии: Если допущения линейности, нормальности и/или постоянной дисперсии сомнительны, мы можем преобразовать или и рассчитать новую линию регрессии, для которой эти допущения удовлетворяются (например, использовать логарифмическое преобразование или др.). "Влиятельное" наблюдение, если оно опущено, изменяет одну или больше оценок параметров модели (т.е. угловой коэффициент или свободный член). Выброс (наблюдение, которое противоречит большинству значений в наборе данных) может быть "влиятельным" наблюдением и может хорошо обнаруживаться визуально, при осмотре двумерной диаграммы рассеяния или графика остатков.
И для выбросов, и для "влиятельных" наблюдений (точек) используют модели, как с их включением, так и без них, обращают внимание на изменение оценки (коэффициентов регрессии). При проведении анализа не стоит отбрасывать выбросы или точки влияния автоматически, поскольку простое игнорирование может повлиять на полученные результаты. Всегда изучайте причины появления этих выбросов и анализируйте их. При построении линейной регрессии проверяется нулевая гипотеза о том, что генеральный угловой коэффициент линии регрессии β равен нулю. Если угловой коэффициент линии равен нулю, между и нет линейного соотношения: изменение не влияет на Для тестирования нулевой гипотезы о том, что истинный угловой коэффициент равен нулю можно воспользоваться следующим алгоритмом:
Вычислить статистику критерия, равную отношению , которая подчиняется распределению с степенями свободы, где стандартная ошибка коэффициента Обычно если достигнутый уровень значимости нулевая гипотеза отклоняется.
где процентная точка распределения со степенями свободы что дает вероятность двустороннего критерия Это тот интервал, который содержит генеральный угловой коэффициент с вероятностью 95%. Для больших выборок, скажем, мы можем аппроксимировать значением 1,96 (то есть статистика критерия будет стремиться к нормальному распределению)
Из-за линейного соотношения и мы ожидаем, что изменяется, по мере того как изменяется
, и называем это вариацией, которая обусловлена или объясняется регрессией. Остаточная вариация должна быть как можно меньше.
Если это так, то большая часть вариации будет объясняться регрессией, а точки будут лежать близко к линии регрессии, т.е. линия хорошо соответствует данным. Долю общей дисперсии , которая объясняется регрессией называют коэффициентом детерминации
, обычно выражают через процентное соотношение и обозначают R 2
(в парной линейной регрессии это величина r 2
, квадрат коэффициента корреляции), позволяет субъективно оценить качество уравнения регрессии. Разность представляет собой процент дисперсии который нельзя объяснить регрессией.
Нет формального теста для оценки мы вынуждены положиться на субъективное суждение, чтобы определить качество подгонки линии регрессии. Можно применять регрессионную линию для прогнозирования значения по значению в пределе наблюдаемого диапазона (никогда не экстраполируйте вне этих пределов).
Мы предсказываем среднюю величину для наблюдаемых, которые имеют определенное значение путем подстановки этого значения в уравнение линии регрессии.
Итак, если прогнозируем как Используем эту предсказанную величину и ее стандартную ошибку, чтобы оценить доверительный интервал для истинной средней величины в популяции.
Повторение этой процедуры для различных величин позволяет построить доверительные границы для этой линии. Это полоса или область, которая содержит истинную линию, например, с 95% доверительной вероятностью.
Простые регрессионные планы содержат один непрерывный предиктор. Если существует 3 наблюдения со значениями предиктора P
, например, 7, 4 и 9, а план включает эффект первого порядка P
, то матрица плана X
будет иметь вид а регрессионное уравнение с использованием P
для X1
выглядит как Y = b0
+ b1
P Если простой регрессионный план содержит эффект высшего порядка для P
, например квадратичный эффект, то значения в столбце X1
в матрице плана будут возведены во вторую степень: а уравнение примет вид Y = b0
+ b1
P2
Сигма
-ограниченные и сверхпараметризованные методы кодирования не применяются по отношению к простым регрессионным планам и другим планам, содержащим только непрерывные предикторы (поскольку, просто не существует категориальных предикторов). Независимо от выбранного метода кодирования, значения непрерывных переменных увеличиваются в соответствующей степени и используются как значения для переменных X
. При этом перекодировка не выполняется. Кроме того, при описании регрессионных планов можно опустить рассмотрение матрицы плана X
, а работать только с регрессионным уравнением. Этот пример использует данные, представленные в таблице: Рис. 3. Таблица исходных данных.
Данные составлены на основе сравнения переписей 1960 и 1970 в произвольно выбранных 30 округах. Названия округов представлены в виде имен наблюдений. Информация относительно каждой переменной представлена ниже: Рис. 4. Таблица спецификаций переменных.
Для этого примера будут анализироваться корреляция уровня бедности и степень, которая предсказывает процент семей, которые находятся за чертой бедности. Следовательно мы будем трактовать переменную 3 (Pt_Poor
) как зависимую переменную. Можно выдвинуть гипотезу: изменение численности населения и процент семей, которые находятся за чертой бедности, связаны между собой. Кажется разумным ожидать, что бедность ведет к оттоку населения, следовательно, здесь будет отрицательная корреляция между процентом людей за чертой бедности и изменением численности населения. Следовательно мы будем трактовать переменную 1 (Pop_Chng
) как переменную-предиктор. Рис. 5. Коэффициенты регрессии Pt_Poor на Pop_Chng.
На пересечении строки Pop_Chng
и столбца Парам.
не стандартизованный коэффициент для регрессии Pt_Poor
на Pop_Chng
равен -0.40374
. Это означает, что для каждого уменьшения численности населения на единицу, имеется увеличение уровня бедности на.40374. Верхний и нижний (по умолчанию) 95%
доверительные пределы для этого не стандартизованного коэффициента не включают ноль, так что коэффициент регрессии значим на уровне p<.05
. Обратите внимание на не стандартизованный коэффициент, который также является коэффициентом корреляции Пирсона для простых регрессионных планов, равен -.65, который означает, что для каждого уменьшения стандартного отклонения численности населения происходит увеличение стандартного отклонения уровня бедности на.65. Коэффициенты корреляции могут стать существенно завышены или занижены, если в данных присутствуют большие выбросы. Изучим распределение зависимой переменной Pt_Poor
по округам. Для этого построим гистограмму переменной Pt_Poor
. Рис. 6. Гистограмма переменной Pt_Poor.
Как вы можете заметить, распределение этой переменной заметно отличается от нормального распределения. Тем не менее, хотя даже два округа (два правых столбца) имеют высокий процент семей, которые находятся за чертой бедности, чем ожидалось в случае нормального распределения, кажется, что они находятся "внутри диапазона." Рис. 7. Гистограмма переменной Pt_Poor.
Это суждение в некоторой степени субъективно. Эмпирическое правило гласит, что выбросы необходимо учитывать, если наблюдение (или наблюдения) не попадают в интервал (среднее ± 3 умноженное на стандартное отклонение). В этом случае стоит повторить анализ с выбросами и без, чтобы убедиться, что они не оказывают серьезного эффекта на корреляцию между членами совокупности. Если одна из гипотез априори
о взаимосвязи между заданными переменными, то ее полезно проверить на графике соответствующей диаграммы рассеяния. Рис. 8. Диаграмма рассеяния.
Диаграмма рассеяния показывает явную отрицательную корреляцию (-.65
) между двумя переменными. На ней также показан 95% доверительный интервал для линии регрессии, т.е., с 95% вероятностью линия регрессии проходит между двумя пунктирными кривыми. Рис. 9. Таблица, содержащая критерии значимости.
Критерий для коэффициента регрессии Pop_Chng
подтверждает, что Pop_Chng
сильно связано с Pt_Poor
, p<.001
. На этом примере было показано, как проанализировать простой регрессионный план. Была также представлена интерпретация не стандартизованных и стандартизованных коэффициентов регрессии. Обсуждена важность изучения распределения откликов зависимой переменной, продемонстрирована техника определения направления и силы взаимосвязи между предиктором и зависимой переменной.
Задачи регрессионного анализа
:
а) Установление формы зависимости. Относительно характера и формы зависимости между явлениями, различают положительную линейную и нелинейную и отрицательную линейную и нелинейную регрессию.
б) Определение функции регрессии в виде математического уравнения того или иного типа и установление влияния объясняющих переменных на зависимую переменную.
в) Оценка неизвестных значений зависимой переменной. С помощью функции регрессии можно воспроизвести значения зависимой переменной внутри интервала заданных значений объясняющих переменных (т. е. решить задачу интерполяции) или оценить течение процесса вне заданного интервала (т. е. решить задачу экстраполяции). Результат представляет собой оценку значения зависимой переменной.
Линейная регрессия: y = a + bx + ε
Нелинейные регрессии делятся на два класса: регрессии, нелинейные относительно включенных в анализ объясняющих переменных, но линейные по оцениваемым параметрам, и регрессии, нелинейные по оцениваемым параметрам.
Регрессии, нелинейные по объясняющим переменным:
.
Для линейных и нелинейных уравнений, приводимых к линейным, решается следующая система относительно a и b:
Можно воспользоваться готовыми формулами, которые вытекают из этой системы:
Тесноту связи изучаемых явлений оценивает линейный коэффициент парной корреляции для линейной регрессии :
и индекс корреляции - для нелинейной регрессии:
Оценку качества построенной модели даст коэффициент (индекс) детерминации, а также средняя ошибка аппроксимации .
Средняя ошибка аппроксимации - среднее отклонение расчетных значений от фактических:
.
Допустимый предел значений - не более 8-10%.
Средний коэффициент эластичности показывает, на сколько процентов в среднем по совокупности изменится результат у от своей средней величины при изменении фактора x на 1% от своего среднего значения:
.
,
где - общая сумма квадратов отклонений;
- сумма квадратов отклонений, обусловленная регрессией («объясненная» или «факторная»);
- остаточная сумма квадратов отклонений.
Долю дисперсии, объясняемую регрессией, в общей дисперсии результативного признака у характеризует коэффициент (индекс) детерминации R 2:
Коэффициент детерминации - квадрат коэффициента или индекса корреляции.
,
где n - число единиц совокупности; m - число параметров при переменных х.
F табл - это максимально возможное значение критерия под влиянием случайных факторов при данных степенях свободы и уровне значимости a. Уровень значимости a - вероятность отвергнуть правильную гипотезу при условии, что она верна. Обычно a принимается равной 0,05 или 0,01.
Если F табл < F факт, то Н о - гипотеза о случайной природе оцениваемых характеристик отклоняется и признается их статистическая значимость и надежность. Если F табл > F факт, то гипотеза Н о не отклоняется и признается статистическая незначимость, ненадежность уравнения регрессии.
Для оценки статистической значимости коэффициентов регрессии и корреляции рассчитываются t-критерий Стьюдента и доверительные интервалы каждого из показателей. Выдвигается гипотеза Н о о случайной природе показателей, т.е. о незначимом их отличии от нуля. Оценка значимости коэффициентов регрессии и корреляции с помощью t-критерия Стьюдента проводится путем сопоставления их значений с величиной случайной ошибки:
; ; .
Случайные ошибки параметров линейной регрессии и коэффициента корреляции определяются по формулам:
Сравнивая фактическое и критическое (табличное) значения t-статистики - t табл и t факт - принимаем или отвергаем гипотезу Н о.
Связь между F-критерием Фишера и t-статистикой Стьюдента выражается равенством
Если t табл < t факт то H o отклоняется, т.е. a, b и не случайно отличаются от нуля и сформировались под влиянием систематически действующего фактора х. Если t табл > t факт то гипотеза Н о не отклоняется и признается случайная природа формирования а, b или .
Для расчета доверительного интервала определяем предельную ошибку D для каждого показателя:
, .
Формулы для расчета доверительных интервалов имеют следующий вид:
; ;
; ;
Если в границы доверительного интервала попадает ноль, т.е. нижняя граница отрицательна, а верхняя положительна, то оцениваемый параметр принимается нулевым, так как он не может одновременно принимать и положительное, и отрицательное значения.
Прогнозное значение определяется путем подстановки в уравнение регрессии соответствующего (прогнозного) значения . Вычисляется средняя стандартная ошибка прогноза :
,
где 
и строится доверительный интервал прогноза:
; 
; 
где 
.Пример решения
Задача №1
. По семи территориям Уральского района За 199Х г. известны значения двух признаков.
Таблица 1.
Требуется:
1. Для характеристики зависимости у от х рассчитать параметры следующих функций:
а) линейной;
б) степенной (предварительно нужно произвести процедуру линеаризации переменных, путем логарифмирования обеих частей);
в) показательной;
г) равносторонней гиперболы (так же нужно придумать как предварительно линеаризовать данную модель).
2. Оценить каждую модель через среднюю ошибку аппроксимации и F-критерий Фишера.
Решение (Вариант №1)
Для расчета параметров a и b линейной регрессии (расчет можно проводить с помощью калькулятора).
решаем систему нормальных уравнений относительно а
и b:
По исходным данным рассчитываем 
:
y
x
yx
x 2
y 2
A i
l
68,8
45,1
3102,88
2034,01
4733,44
61,3
7,5
10,9
2
61,2
59,0
3610,80
3481,00
3745,44
56,5
4,7
7,7
3
59,9
57,2
3426,28
3271,84
3588,01
57,1
2,8
4,7
4
56,7
61,8
3504,06
3819,24
3214,89
55,5
1,2
2,1
5
55,0
58,8
3234,00
3457,44
3025,00
56,5
-1,5
2,7
6
54,3
47,2
2562,96
2227,84
2948,49
60,5
-6,2
11,4
7
49,3
55,2
2721,36
3047,04
2430,49
57,8
-8,5
17,2
Итого
405,2
384,3
22162,34
21338,41
23685,76
405,2
0,0
56,7
Ср. знач. (Итого/n)
57,89
54,90
3166,05
3048,34
3383,68
X
X
8,1
s
5,74
5,86
X
X
X
X
X
X
s 2
32,92
34,34
X
X
X
X
X
X
Рассчитаем линейный коэффициент парной корреляции:
Связь умеренная, обратная.
Определим коэффициент детерминации:
Вариация результата на 12,7% объясняется вариацией фактора х. Подставляя в уравнение регрессии фактические значения х,
определим теоретические (расчетные) значения
.
Найдем величину средней ошибки аппроксимации :
В среднем расчетные значения отклоняются от фактических на 8,1%.
Рассчитаем F-критерий:
Полученное значение указывает на необходимость принять гипотезу Но о
случайной природе выявленной зависимости и статистической незначимости параметров уравнения и показателя тесноты связи.
1б.
Построению степенной модели предшествует процедура линеаризации переменных. В примере линеаризация производится путем логарифмирования обеих частей уравнения:
где
Y=lg(y), X=lg(x), C=lg(a).
Y
X
YX
Y 2
X 2
A i
1
1,8376
1,6542
3,0398
3,3768
2,7364
61,0
7,8
60,8
11,3
2
1,7868
1,7709
3,1642
3,1927
3,1361
56,3
4,9
24,0
8,0
3
1,7774
1,7574
3,1236
3,1592
3,0885
56,8
3,1
9,6
5,2
4
1,7536
1,7910
3,1407
3,0751
3,2077
55,5
1,2
1,4
2,1
5
1,7404
1,7694
3,0795
3,0290
3,1308
56,3
-1,3
1,7
2,4
6
1,7348
1,6739
2,9039
3,0095
2,8019
60,2
-5,9
34,8
10,9
7
1,6928
1,7419
2,9487
2,8656
3,0342
57,4
-8,1
65,6
16,4
Итого
12,3234
12,1587
21,4003
21,7078
21,1355
403,5
1,7
197,9
56,3
Среднее значение
1,7605
1,7370
3,0572
3,1011
3,0194
X
X
28,27
8,0
σ
0,0425
0,0484
X
X
X
X
X
X
X
σ 2
0,0018
0,0023
X
X
X
X
X
X
X
Получим линейное уравнение:
.
Выполнив его потенцирование, получим:
Подставляя в данное уравнение фактические значения х,
получаем теоретические значения результата. По ним рассчитаем показатели: тесноты связи - индекс корреляции и среднюю ошибку аппроксимации 
Характеристики степенной модели указывают, что она несколько лучше линейной функции описывает взаимосвязь.
Для расчетов используем данные таблицы.
Y
x
Yx
Y 2
x 2
A i
1
1,8376
45,1
82,8758
3,3768
2034,01
60,7
8,1
65,61
11,8
2
1,7868
59,0
105,4212
3,1927
3481,00
56,4
4,8
23,04
7,8
3
1,7774
57,2
101,6673
3,1592
3271,84
56,9
3,0
9,00
5,0
4
1,7536
61,8
108,3725
3,0751
3819,24
55,5
1,2
1,44
2,1
5
1,7404
58,8
102,3355
3,0290
3457,44
56,4
-1,4
1,96
2,5
6
1,7348
47,2
81,8826
3,0095
2227,84
60,0
-5,7
32,49
10,5
7
1,6928
55,2
93,4426
2,8656
3047,04
57,5
-8,2
67,24
16,6
Итого
12,3234
384,3
675,9974
21,7078
21338,41
403,4
-1,8
200,78
56,3
Ср. зн.
1,7605
54,9
96,5711
3,1011
3048,34
X
X
28,68
8,0
σ
0,0425
5,86
X
X
X
X
X
X
X
σ 2
0,0018
34,339
X
X
X
X
X
X
X
Получено линейное уравнение: 
.
Произведем потенцирование полученного уравнения и запишем его в обычной форме:
Тесноту связи оценим через индекс корреляции :
Таблица
8.3а.
Регрессионная статистика
Регрессионная статистика
Множественный R
0,998364
R-квадрат
0,99673
Нормированный R-квадрат
0,996321
Стандартная ошибка
0,42405
Наблюдения
10
Таблица
8.3б.
Коэффициенты регрессии
Коэффициенты
Стандартная ошибка
t-статистика
Y-пересечение
2,694545455
0,33176878
8,121757129
Переменная X 1
2,305454545
0,04668634
49,38177965
* Приведен усеченный вариант расчетов
Таблица
8.3в.
Остатки
Наблюдение
Предсказанное Y
Остатки
Стандартные остатки
1
9,610909091
-0,610909091
-1,528044662
2
7,305454545
-0,305454545
-0,764022331
3
11,91636364
0,083636364
0,209196591
4
14,22181818
0,778181818
1,946437843
5
16,52727273
0,472727273
1,182415512
6
18,83272727
0,167272727
0,418393181
7
21,13818182
-0,138181818
-0,34562915
8
23,44363636
-0,043636364
-0,109146047
9
25,74909091
-0,149090909
-0,372915662
10
28,05454545
-0,254545455
-0,636685276
Линия регрессии
Метод наименьших квадратов
Предположения линейной регрессии
Аномальные значения (выбросы) и точки влияния
Гипотеза линейной регрессии
,
- оценка дисперсии остатков.
Оценка качества линейной регрессии: коэффициент детерминации R 2
Применение линии регрессии для прогноза
Простые регрессионные планы
Пример: простой регрессионный анализ
Задача исследования
Просмотр результатов
Коэффициенты регрессии
Распределение переменных
Диаграмма рассеяния
Критерии значимости
Итог
