\documentclass[8pt,a4paper]{scrartcl}

\input{definitions}
\input{packages}

\geometry{left=10mm,right=10mm, top=12mm, bottom=5mm, paperwidth=210mm, paperheight=297mm}
\fancyhf{}																								%Kopf-/Fu?zeilenfelder leeren
\pagestyle{fancy}																						%Seitenstil auf fancy setzen
\fancyhead[L]{SR}																					%im Kopf links den Titel schreiben
\fancyhead[R]{\copyright \hspace{1mm} Lst Ökonometrie, Uni Regensburg, Nov 2012}
\renewcommand{\headrulewidth}{0pt}																				%Im Kopf rechts die Seitenzahl setzen
\fancypagestyle{plain}{}																					% damit auch "plain" Seiten fancy werden
\setlength{\headheight}{14.5pt}
\renewcommand{\baselinestretch}{1.25}

\definecolor{DarkBlue}{rgb}{0,0.08,0.6}
\definecolor{LightGreen}{RGB}{154,205,50}
\definecolor{DarkGreen}{RGB}{85,107,47}
\definecolor{DarkRed}{rgb}{0.6,0.08,0.1}
\definecolor{LightBlue}{rgb}{0.1,0.6,1}
\definecolor{Purple}{RGB}{138,43,226}
\definecolor{Pink}{RGB}{255,0,255}


\begin{document}
\section*{Übersicht zur geometrischen Interpretation des KQ-Schätzers}
Falls $\mX$ vollen Spaltenrang hat (und somit $(\mX^T \mX)^{-1}$ existiert), kann man den KQ-Schätzer schreiben als:
\begin{align}
\notag \mathbf{\hbeta} =(\mX^T \mX)^{-1} \mX^T \vy
\end{align}
Damit ergeben sich die prognostizierten Werte und die Residuen:
\begin{align}
\notag &\yh =\mX \mathbf{\hbeta} =\mX (\mX^T \mX)^{-1} \mX^T \vy \\
\notag &\uh =\vy -\yh = \vy - \mX (\mX^T \mX)^{-1} \mX^T \vy = (\mI_n - \mX (\mX^T \mX)^{-1} \mX^T) \vy =(\mI_n - \mX (\mX^T \mX)^{-1} \mX^T) u
\end{align}
Man sieht, dass die prognostizierten Werte und Residuen linear von $\vy$ abhängen und führt deshalb zwei Matrizen ein:
\begin{align}
\notag &\mP_X:=\mX (\mX^T \mX)^{-1} \mX^T \hd\text{ (damit gilt: } \yh=\mP_X \vy) \\
\notag &\mM_X:=(\mI_n - \mX (\mX^T \mX)^{-1} \mX^T)\hd \text{ (damit gilt: } \uh=\mM_X \vy)
\end{align}

\textbf{Geometrische Eigenschaften einer KQ-Schätzung mit Hilfe der Matrizen $\mP_X$ und $\mM_X$}:\\
\begin{tabularx}{\textwidth}{|p{8cm}|X|}
\hline
Eigenschaft / Formel & Interpretation \\
\hline \hline
\textbf{Symmetrie}: $\mP_X$ und $\mM_X$ sind symmetrisch \newline (Eine Matrix $\mA$ heißt symmetrisch, falls gilt: $\mA^T=\mA$) & Aus der Symmetrie einer Matrix folgt, dass deren Zeilenraum gleich dem Spaltenraum ist.\\ \hline
\textbf{Idempotenz}:  $\mP_X$ und $\mM_X$ sind idempotent \newline (Eine Matrix $\mA$ heißt idempotent, falls gilt: $\mA \cdot \mA=\mA$) & Projektionen werden durch idempotente Matrizen charakterisiert, da eine doppelte, dreifache, ... Projektion auf den gleichen Raum das Gleiche wie eine einfache Projektion liefert. \newline $\yh$ und $\uh$ werden also auf Räume projiziert!\\ \hline
\textbf{Orthogonalität und Komplementarität}:\newline $\mP_X,\mM_X \in \R^{n \times n}$ mit $\mP_X\cdot\mM_X=\mM_X\cdot\mP_X=\mO$ \newline (wobei: $\rk(\mP_X)=\tr(\mP_X)=k$ und $\rk(\mM_X)=\tr(\mM_X)=n-k$) \newline Beziehung von $\yh$ zu den Residuen: $\yh^T\uh=(\mP_X \vy)^T (\mI-\mP_X)\vy=0$ \newline Insbesondere gilt: $\mP_X \vy + \mM_X\vy =\vy$ (bzw. $\uh+\yh =\vy$)  & Die Spalten von $\mP_X$ stehen senkrecht auf den Spalten $\mM_X$, d. h. sie bilden Vektoren in Räume ab, die wiederum senkrecht zueinander stehen. Da die Summe der Ränge wieder den ganzen Raum ergibt, sind die beiden Räume komplementär. \newline Da der Vektor der prognostizierten Werte $\yh$ senkrecht auf dem Residuenvektor steht, lässt sich der Regressand als Summe der Residuen und der prognostizierten Werte schreiben. \\ \hline
\textbf{Normalgleichungen}: Beziehung von $\mX$ zu den Residuen \newline $\vx_i^T \uh =<\vx_i,\uh>=0 \hd \forall i=1,...k \LR \uh \in \delta^{\bot}(\mX)$ & Der Residuenvektor steht senkrecht auf den Spalten der Matrix $\mX$. \newline (Der Raum, der durch $\mX$ aufgespannt wird, steht senkrecht zum Vektor der Residuen $\uh$)\\ \hline
\textbf{Eigenschaften eines Modells mit Konstante (Intercept)} \newline 1. $\sum_{i=1}^n \hat{u}_i =0$ (insb. der Mittelwert $\frac{1}{n}(\sum_{i=1}^n \hat{u}_i) =0$) \newline 2. $\bar{\hat{y}}=\frac{1}{n}(\sum_{i=1}^n \hat{y}_i)=\bar{y} $ \newline 3. $\bar{y}=\hat{\beta}_1 + \hat{\beta}_2 \bar{x}_2+...+\hat{\beta}_k \bar{x}_k$ \newline 4. Streuungszerlegung: $SST = SSR + SSE$ & Interpretation des Modells mit Kontante (Intercept): \newline 1. Der Mittelwert der Residuen ist null, sie annulieren sich also im Mittel. \newline 2. Der Mittelwert der Prognosen $\bar{\hat{y}}$ ist gleich dem Mittelwert der beobachteten Werte $\bar{y}$ \newline 3. Die Regressionshyperebene geht durch den Schwerpunkt der Daten\newline 4. $SST=\sum_{i=1}^n (y_i-\bar{y})^2, SSE=\sum_{i=1}^n (\hat{y}_i-\bar{y})^2, SSR=\sum_{i=1}^n \hat{u}_i^2$ \\ \hline
\end{tabularx}
\vspace{0.2cm}\\
Im Folgenden eine illustrierende Graphik im Fall eines Modells mit zwei Regressoren ($k=2$) und drei Beobachtungen ($n=3$) und dessen KQ-Schätzung:
\beqs
\textcolor{DarkRed}{\mathbf{y}}= \bmat \textcolor{DarkBlue}{\mathbf{x}_1} & \textcolor{DarkBlue}{\mathbf{x}_2} \emat \mathbf{\beta} + \mathbf{u}
\text{ wobei }\textcolor{DarkRed}{\mathbf{y}}= \bmat \textcolor{DarkRed}{y_1} \\ \textcolor{DarkRed}{y_2} \\ \textcolor{DarkRed}{y_3} \emat
\text{ und } \bmat \textcolor{DarkBlue}{\mathbf{x}_1} & \textcolor{DarkBlue}{\mathbf{x}_2} \emat = \bmat \textcolor{DarkBlue}{x_{11}} & \textcolor{DarkBlue}{x_{12}} \\ \textcolor{DarkBlue}{x_{21}} & \textcolor{DarkBlue}{x_{22}} \\ \textcolor{DarkBlue}{x_{31}} & \textcolor{DarkBlue}{x_{32}}\emat
\text{ mit Schätzung } \textcolor{LightBlue}{\mathbf{\yh}}= \bmat \textcolor{DarkBlue}{\mathbf{x}_1} & \textcolor{DarkBlue}{\mathbf{x}_2} \emat \textcolor{Purple}{\mathbf{\hbeta}} + \textcolor{LightGreen}{\mathbf{\uh}}
\eeqs

\begin{figure}[htbp]
  \centering
  \begin{minipage}[b]{6 cm}
    \includegraphics[width=0.8\textwidth]{kq_geometry_wahres_beta.jpg}
    \caption{Raum der Beobachtungen}
  \end{minipage}
   \hspace{1cm}
  \begin{minipage}[b]{6 cm}

    \includegraphics[width=1.2\textwidth]{ebenen_schnitt_beides.jpg}
    \caption{$3d$-Scatterplot mit wahrer und prognostizierter Regressionsebene}
  \end{minipage}
\end{figure}
\textbf{Interpretation}:\\
\begin{tabularx}{\textwidth}{p{9cm}X}
Die Hyperebene (blau eingefärbte Fläche), in der \textcolor{LightBlue}{$\yh$} liegt, wird von den Spalten der Matrix \textcolor{DarkBlue}{$\mX$} aufgespannt. bwinÓéÀÖ_bwinÓéÀÖ¹ÙÍø»¶Ó­Äú@e ist $k=2$-dimensional, während der Raum des Residuenvektors \textcolor{LightGreen}{$\uh$} $n-k=3-2=1$-dimensional ist. Beide Räume zusammen spannen den kompletten Raum, in dem sich Residuen, Regressoren und -anden befinden, auf (Dimension $n=3$). Der Residuenvektor \textcolor{LightGreen}{$\uh$} steht senkrecht auf dieser Fläche und bildet eine Basis des Komplementärraums; $\textcolor{DarkRed}{\vy}, \textcolor{LightBlue}{\yh}$ und \textcolor{LightGreen}{$\uh$} bilden ein rechtwinkliges Dreieck (nur rechtwinklig bei der KQ-Schätzung!). Zudem ist das wahre $\textcolor{Pink}{\vbeta}$ mit dem wahren Fehler $\textcolor{DarkGreen}{\vu}$ eingezeichnet, der i. A. nicht senkrecht auf \textcolor{DarkBlue}{$\mX$} steht. &
In diesem Scatterplot, in dem nur eine Beobachtung $(\textcolor{DarkBlue}{x_{31}}, \textcolor{DarkBlue}{x_{32}}, \textcolor{DarkRed}{y_3})$ und dessen gefitteter Wert $(\textcolor{DarkBlue}{x_{31}}, \textcolor{DarkBlue}{x_{32}}, \textcolor{LightBlue}{\hat{y}_3})$ zu sehen ist, sind zwei Regressionshyperebenen eingezeichnet: einmal die prognostizierte mit $\textcolor{LightBlue}{\yh}=\textcolor{DarkBlue}{\mX}\textcolor{Purple}{\hbeta}$, wobei man deren geschätzten Parameter $\textcolor{Purple}{\hbeta_1}, \textcolor{Purple}{\hbeta_2}$ als Steigungen der Ebene bzw. als Tangens des Winkels zwischen Ebene und Regressor sehen kann und einmal die wahre $\textcolor{DarkRed}{\vy}=\textcolor{DarkBlue}{\mX}\textcolor{Pink}{\vbeta}$, wobei für die wahren Parameter $\textcolor{Pink}{\beta_1, \beta_2}$ das gleiche gilt.
\end{tabularx}
\end{document}