비직교 설명변수가 사용될 때의 일반화능형회귀의 일반적 해

A General Solution of Generalized Ridge Regression for Non-orthogonal Explanatory Variables

일반화능형회귀에서는 일반적으로 설명변수들을 직교 변환한 후의 X 를 사용하여 추정 절차를 거친다. 즉 직교변환된 X X 의 대각에 능형상수를 추가하고 회귀해를 구하게 되는데 이것은 식의 유도와 해석이 더 간편하기 때문이다. 본 논문에서는 직교 변환하지 않은 설명변수들에서 나온 X X 의 대각행렬에 능형상수를 더하는 경우에 일반화능형회귀의 해가 어떻게 나타나는지를 보이는데 행렬 X 의 형태나 계수가 어떤 경우일지라도 적용되는 일반적인 해로 구해지며 동시에 다른 회귀방법과의 통합적인 식으로 유도된다. 또한 X X + C 가 비정칙인 경우의 회귀해도 구해지는데, 이것은 일반화능형회귀의 가장 일반적인 해로 볼 수 있다.

In generalized ridge regression, orthogonally transformed X is used instead of original X for ordinary estimation procedure. That is, ridge constants are added to the diagonal of orthogonally transformed X X and then the regression solution is obtained. This is due to simplicity of derivation and interpretation of the expressions. In this paper we consider the situation that ridge constants are added to X X with non-orthogonal X variables. We derive a general solution for generalized ridge regression, which is applicable to any shape or rank of X . We also develop a regression solution for the situation of possibly singular X X + C , which can be regarded as the most general solution for generalized ridge regression.