Ausführungen zum Mathematischer Exkurs III

Lösbarkeit der Normalgleichungen

Zunächst sei darauf hingewiesen, dass für dieses Dokument ebenfalls die Konventionen der Seite Mathematischer Exkurs III gelten, ohne dass sie hier wiederholt werden.

Die Aussage, der ausschließlich die nachstehenden Betrachtungen gewidmet sind, ist die folgende:

Theorem
Gegeben ist die m×n-Matrix A, wobei deren Spaltenvektoren a₁, a₂, ..., a_n linear unabhängig seien. Dann besitzt das lineare Gleichungssystem

für einen beliebigen Vektor b=(b₁, b₂, ..., b_m)^T eine eindeutig bestimmte Lösung x .

Diese Aussage zu beweisen, ist das Ziel der vorliegenden Texts. Die Strategie ist wie folgt: Zunächst wird gezeigt, dass für eine positiv definite Matrix alle mit ihr als Koeffizientenmatrix formulierten lineare Gleichungssysteme eindeutig lösbar sind, und in einem zweiten Schritt nachgewiesen, dass die Matrix A^H A unter der gegebenen Voraussetzung positiv definit ist.

Definition
Eine (quadratische) n×n-Matrix B heißt positiv definit, wenn

(d. h. B ist eine hermitesche Matrix) und

für alle Vektoren y=(y₁, y₂, ..., y_n)^T ungleich dem Nullvektor 0.

Als Erstes soll nachgewiesen werden, dass aus der positiven Definitheit einer Matrix folgt, dass alle linearen Gleichungssysteme mit ihr als Koeffizientenmatrix eindeutig lösbar sind.

Theorem
Sei B eine positiv definite n×n-Matrix. Dann besitzt für jeden Vektor c=(c₁, c₂, ..., c_n)^T das lineare Gleichungssystem B z = c eine eindeutig bestimmte Lösung z .

Beweis: Der Beweis wird indirekt geführt. Angenommen das lineare Gleichungssystem B z = c besitzt für einen Vektor c keine oder mehrere Lösungen. Fall 1: Das lineare Gleichungssystem B z = z₁ b₁ + z₂ b₂ + ... + z_n b_n = c besitzt keine Lösung. Hierbei sind b₁, b₂, ..., b_n die Spaltenvektoren der Matrix B. Dann sind entweder die Vektoren {b₁, b₂, ..., b_n, z} linear unabhängig oder {b₁, b₂, ..., b_n} linear abhängig. Ersteres kann nicht zutreffen, da n+1 Vektoren in einem n-dimensionalen Vektorraum stets linear abhängig sind. Der zweite Fall besagt (und das ist gerade die Definition der linearen Abhängigkeit), dass ein Vektor d = (d₁, d₂, ..., d_n)^T existiert, der nicht gleich dem Nullvektor 0 ist, aber d₁ b₁ + d₂ b₂ + ... + d₂ b₂ = 0 . D. h. aber, dass das lineare Gleichungssystem B z = 0 mindestens zwei Lösungen besitzt, nämlich 0 und d . Damit ist gezeigt, dass auch bei Fall 1 der Fall 2 folgt, nämlich, dass es einen Vektor c gibt, für den das lineare Gleichungssystem B z = c zwei oder mehr verschiedene Lösungen besitzt. Bezeichnet man die zwei verschiedenen Lösungen mit z₁ und z₂ so gilt B (z₁-z₂) = 0 und damit auch (z₁-z₂)^H B (z₁-z₂) = 0 . Dies ist aber ein Widerspruch dazu, dass die Matrix B positiv definit ist.

Nun bleibt nur noch nachzuweisen, dass die Matrix A^H A positiv definit ist.

Nun gilt aber
(i) (A^H A)^H = A^H A^HH = (A^H A)
und außerdem
(ii) x^H (A^H A) x = (A x)^H (A x) = y^H y = [y*y] = [yy*] , wobei y:= A x gesetzt wurde. Da die Spaltenvektoren der Matrix A linear unabhängig sind und der Vektor x nicht der Nullvektor ist, ist auch der Vektor y nicht der Nullvektor und in diesem Fall ist leicht einzusehen, dass dann auch [yy*] > 0 ist.