<< Предыдущая

стр. 26
(из 65 стр.)

ОГЛАВЛЕНИЕ

Следующая >>

= ?2 XT Y + 2(XT X)B. (6.16)
?B
Для упрощения изложения обозначим матрицу XT X размерно-
сти (m + 1) ? (m + 1) через Z. Тогда




146
? ?
? z12 ... z1 m+1 ? ? ? b 0 ?
? z11
? ?
?z z 22 ... z 2 m+1 ? ? ? b1 ?
S = B Z B = ? (b 0 , b1 , ..., bm) ? ? 21 ? ?? ? =
T
? ... ? ? ? ... ?
? ... ... ...
? ?? ? ?
?
?z m+11 z m +1 2 ... z m +1 m+1 ? ? ?bm ?
?
? ?
? b0 ?
?b ?
= ? ? b i z i +1 1 , ? b i z i +1 2 , ... , ? b i z i +1 m +1 ? ? ? 1 ? =
m m m
? ?
? ? ... ?
? i=0 i=0 i=0
??
? bm ?
m m m m
= ? b j ? ? b i z i +1 j +1 = ? ? b j b i z i + 1 j +1 .
j= 0 i=0 j= 0 i = 0
?S m
= 2 ? b i z i +1 j + 1 .
Следовательно, частная производная
?b j i=0

?S
= 2(XT X)B.
В результате имеем
?B
Обозначим вектор-столбец ХTY размерности (m + 1) через R.
m
T T T
Тогда B X Y = B R = ? a jrj +1 , где rj+1 – соответствующий элемент
j= 0

?(B T R)
= R = XTY.
вектора R. Поэтому
?B
? (Y T Y)
T
Y Y от B не зависит, и значит = 0.
?B
?Q
Следовательно, формула (6.16) справедлива. Приравняв ну-
?B
лю, получим общую формулу (6.18) вычисления коэффициентов мно-
жественной линейной регрессии:
?2 XTY + 2(XT X)B = 0 ?
XTY = (XT X)B ? (6.17)
B = (XT X)?1XTY. (6.18)
Здесь (XT X)?1 ? матрица, обратная к XT X.



147
Полученные общие соотношения справедливы для уравнений ре-
грессии с произвольным количеством m объясняющих переменных.
Проанализируем полученные результаты для случаев m = 1, m = 2.
Для парной регрессии Y = b0 + b1X + e имеем:
? 1 x1 ? ? e1 ?
? y1 ?
?1 x ? ?e ?
?y ?
?b 0 ?
, B = ? ? , e = ? 2?.
X=? 2?
Y= ? 2?
?... ... ? ? ... ?
? y3 ? ? b1 ?
? ? ??
?y ? 1 xn ? ?e n ?
? 4? ?
? e1 ? ? y1 ? ? 1 x1 ?
?e ? ? y ? ? 1 x ? b
2? ? 0?
? 2? = ? 2? ? ?
(6.13) ? e = Y ? XB ? ? .
? ... ? ? ... ? ?... ... ? ? b1 ? ??
????? ?
?e n ? ? y n ? ? 1 x n ?
? 1 x1 ?
? ?
? xi ?
? 1 1 ... 1 ? ? 1 x 2 ? ? n
T
?
Z=X X= ? =? 2?.
? ?... ... ?
?? x i ? x i ?
? x1 x2 ... xn ?
? ?
1 xn ?
?
? ?
2
? xi ? xi
?
? ?
n ? x i2 ? ( ? x i ) 2 n ? x i2 ? ( ? x i ) 2 ? .
?1
?1
Z = (X X) = ?
T
? xi n
?? ?
? n ? x i2 ? ( ? x i ) 2 n ? x i2 ? ( ? x i ) 2 ?
? ?
? y1 ?
??
? 1 1 ... 1 ? ? y 2 ? ? ? y i ?
R = ХTY = ? ? ? ? ... ? = ? x y ? .
?? i i ?
? x1 x2 ... xn ?
??
?yn ?
? ?
2
? x i ? yi ? x i ? x i yi
?
? ?
n ? x i2 ? ( ? x i ) 2 n ? x i2 ? ( ? x i ) 2 ? =
?1 T
(6.18) ? B = (X X) X Y = ?
T
? x i ? yi n? x i yi
?? ?
+
? n ? x i2 ? ( ? x i ) 2 n ? x i2 ? ( ? x i ) 2 ?
? ?
? ? x i2 ? y i ? ? x i ? x i y i ?
? ?
n ? x i2 ? ( ? x i ) 2 ? = ? y ? b1x ? = ?b 0 ? ? (4.13)
=? ? ???
? n ? x i y i ? ? x i ? y i ? ? b1 ? ? b1 ?
? n ? x i2 ? ( ? x i ) 2 ?
? ?
148
Сравнивая диагональные элементы z ?jj матрицы Z ?1 = (XT X)?1 с
формулами (5.12), (5.13), замечаем, что S2 j = S2 ? z ?jj , j = 0, 1.
b

Рассуждая аналогично, можно вывести формулы (осуществление
выкладок рекомендуем в качестве упражнения) определения коэффи-
циентов регрессии для уравнения с двумя объясняющими перемен-
ными (m = 2). Соотношение (6.17) в этом случае в расширенной фор-
ме имеет вид системы трех линейных уравнений с тремя неизвестны-
ми b0, b1, b2:
? y i = nb 0 + b1 ? x i1 + b 2 ? x i2 ,
2
? x i1y i = b 0 ? x i1 + b1 ? x i1 + b 2 ? x i1x i2 , (6.19)
2
? x i2 y i = b 0 ? x i2 + b1 ? x i1x i2 + b 2 ? x i2 .
Решение данной системы имеет вид:
b 0 = y ? b1x1 + b 2 x 2 ,
2
?(xi1 ? x1 )(yi ? y) ? ?(xi2 ?x2 ) ? ?(xi2 ?x2 )(yi ? y) ? ?(xi1 ? x1 )(xi2 ? x2 )
b1 = 2 2 2
?(xi1 ? x1 ) ?(xi2 ?x2 ) ? (?(xi1 ? x1 )(xi2 ? x2 ))
2
?(xi2 ? x2 )(yi ? y) ? ?(xi1 ?x1) ? ?(xi1 ?x1)(yi ? y) ? ?(xi1 ? x1)(xi2 ? x2 )
b2 = . (6.20)
2 2 2
?(xi1 ? x1) ?(xi2 ?x2 ) ? (?(xi1 ? x1)(xi2 ? x2 ))


6.3. Дисперсии и стандартные ошибки коэффициентов
Знание дисперсий и стандартных ошибок позволяет анализиро-
вать точность оценок, строить доверительные интервалы для теорети-
ческих коэффициентов, проверять соответствующие гипотезы.
Наиболее удобно формулы расчета данных характеристик приво-
дить в матричной форме. Попутно заметим, что три первые предпо-
сылки МНК в матричной форме будут иметь вид:
10. M(?) = 0;
20. D(?) = ?2I;
T
30. K(?) = M(?? ) = ?2E.




149
? е1 ? ?1 ? ?1 0?
0 ...
?е ? ?1 ? ?0 0?
1 ...
Здесь ? = ? 2 ? , I = [1] n ? 1 = ? ? , E = E n ? n = ? ?
? ... ? ?...? ?... ...?
... ...
?? ?? ? ?
еn ? ?1 ? ?0 0 0 1?
?
?D(е1 ) у е1е2 ... у е1еn ?
?у D(е 2 ) ... у е2еn ?
K(?) = ? ?.
е 2е1
? ... ... ?
... ...
? ?
у еn е1 у еn е2 ... D(е n )?
?
? ?
Как показано выше, эмпирические коэффициенты множествен-
ной линейной регрессии определяются по формуле (6.18)
B = (XT X)?1XTY.
Подставляя теоретические значения Y = X? + ? в данное соотно-
шение, имеем:
B = (XT X)?1XT(X? + ?) = (XT X)?1(XTX)? + (XT X)?1XT? =
= ? + (XT X)?1XT?.
Следовательно, ? ? B = (XT X)?1XT?.
Построим дисперсионно-ковариационную матрицу
T
K(?) = М((? ? B)( ? ? B)T) = М[((XT X) ?1XT?)((XT X) ?1XT?) ] =
T
= M(XT X) ?1XT?? X(XT X)?1.
В силу того, что Хj не являются случайными величинами, имеем:
T
K(?) = (XT X)?1XTМ(?? ) X(XT X)?1 = (XT X)?1XT?2EX(XT X)?1 =
= ?2(XT X)?1 ?

D(?i) = ?2z?jj. (6.21)
Напомним, что z ?jj ? j-й диагональный элемент матрицы Z ?1 =
= (XT X)?1.
Поскольку истинное значение дисперсии ?2 по выборке опреде-
лить невозможно, оно заменяется соответствующей несмещенной
оценкой
2
? ei
2
S= , (6.22)
n ? m ?1

150
где m ? количество объясняющих переменных модели. Отметим, что
иногда в формуле (6.22) знаменатель представляют в виде n ? m ? 1 =
= n ? k, подразумевая под k число параметров модели (подлежащих
определению коэффициентов регрессии).
Следовательно, по выборке мы можем определить лишь выбороч-
ные дисперсии эмпирических коэффициентов регрессии:
2
? ei
2
S2 j =
S z?jj = z?jj, j = 0, 1, …, m. (6.23)
b
n ? m ?1
Как и в случае парной регрессии, S = S2 называется стандартной
ошибкой регрессии. Sb j = S2 j называется стандартной ошибкой ко-
b

эффициента регрессии.
)
В частности, для уравнения Y = b 0 + b1X1 + b 2 X 2 с двумя объяс-
няющими переменными дисперсии и стандартные ошибки коэффици-
ентов вычисляются по следующим формулам:

<< Предыдущая

стр. 26
(из 65 стр.)

ОГЛАВЛЕНИЕ

Следующая >>