Die Essenz der Methode der kleinsten Quadrate ist. Wo wird die Methode der kleinsten Quadrate angewendet? Beispiele für die Lösung von Problemen mit der Methode der kleinsten Quadrate

Es hat viele Anwendungsmöglichkeiten, da es eine näherungsweise Darstellung einer gegebenen Funktion durch andere, einfachere Funktionen ermöglicht. LSM kann bei der Verarbeitung von Beobachtungen äußerst nützlich sein und wird aktiv verwendet, um einige Größen aus den Messergebnissen anderer zu schätzen, die zufällige Fehler enthalten. In diesem Artikel erfahren Sie, wie Sie Berechnungen der kleinsten Quadrate in Excel implementieren.

Darstellung des Problems anhand eines konkreten Beispiels

Angenommen, es gibt zwei Indikatoren X und Y. Darüber hinaus hängt Y von X ab. Da OLS für uns aus Sicht der Regressionsanalyse von Interesse ist (in Excel werden seine Methoden mithilfe integrierter Funktionen implementiert), sollten wir sofort fortfahren ein bestimmtes Problem betrachten.

Sei also X die Verkaufsfläche eines Lebensmittelgeschäfts, gemessen in Quadratmetern, und Y der Jahresumsatz, definiert in Millionen Rubel.

Es ist erforderlich, eine Prognose darüber zu erstellen, welchen Umsatz (Y) das Geschäft erzielen wird, wenn es über die eine oder andere Verkaufsfläche verfügt. Offensichtlich nimmt die Funktion Y = f (X) zu, da der Hypermarkt mehr Waren verkauft als der Stand.

Ein paar Worte zur Richtigkeit der für die Vorhersage verwendeten Ausgangsdaten

Nehmen wir an, wir haben eine Tabelle mit Daten für n Filialen erstellt.

Laut mathematischer Statistik sind die Ergebnisse mehr oder weniger korrekt, wenn die Daten von mindestens 5-6 Objekten untersucht werden. Auch „anomale“ Ergebnisse können nicht verwendet werden. Insbesondere eine kleine Elite-Boutique kann einen Umsatz erzielen, der um ein Vielfaches höher ist als der Umsatz großer Outlets der „Masmarket“-Klasse.

Die Essenz der Methode

Die Tabellendaten können auf der kartesischen Ebene als Punkte M 1 (x 1, y 1), ... M n (x n, y n) angezeigt werden. Nun reduziert sich die Lösung des Problems auf die Auswahl einer Näherungsfunktion y = f (x), die einen Graphen aufweist, der möglichst nahe an den Punkten M 1, M 2, .. M n verläuft.

Natürlich können Sie ein Polynom hohen Grades verwenden, aber diese Option ist nicht nur schwierig zu implementieren, sondern einfach falsch, da sie nicht den Haupttrend widerspiegelt, der erkannt werden muss. Die sinnvollste Lösung besteht darin, nach einer Geraden y = ax + b zu suchen, die den experimentellen Daten und genauer gesagt den Koeffizienten a und b am besten entspricht.

Genauigkeitsbewertung

Für jede Näherung ist die Beurteilung ihrer Genauigkeit von besonderer Bedeutung. Bezeichnen Sie mit e i die Differenz (Abweichung) zwischen den funktionalen und experimentellen Werten für den Punkt x i , d. h. e i = y i - f (x i).

Um die Genauigkeit der Näherung zu beurteilen, können Sie natürlich die Summe der Abweichungen verwenden, d. h. bei der Auswahl einer Geraden für eine ungefähre Darstellung der Abhängigkeit von X von Y sollte der Linie der Vorzug gegeben werden, die den kleinsten Wert hat die Summe e i an allen betrachteten Punkten. Allerdings ist nicht alles so einfach, denn neben positiven Abweichungen gibt es praktisch auch negative.

Sie können das Problem mithilfe der Abweichungsmodule oder ihrer Quadrate lösen. Die letztere Methode ist die am weitesten verbreitete. Es wird in vielen Bereichen eingesetzt, unter anderem in der Regressionsanalyse (in Excel erfolgt die Implementierung über zwei integrierte Funktionen) und hat sich seit langem als effektiv erwiesen.

Methode der kleinsten Quadrate

Wie Sie wissen, gibt es in Excel eine integrierte Autosum-Funktion, mit der Sie die Werte aller Werte berechnen können, die sich im ausgewählten Bereich befinden. Somit hindert uns nichts daran, den Wert des Ausdrucks (e 1 2 + e 2 2 + e 3 2 + ... e n 2) zu berechnen.

In mathematischer Notation sieht das so aus:

Da ursprünglich die Entscheidung getroffen wurde, mit einer geraden Linie zu approximieren, gilt:

Die Aufgabe, eine Gerade zu finden, die eine bestimmte Beziehung zwischen X und Y am besten beschreibt, läuft also darauf hinaus, das Minimum einer Funktion zweier Variablen zu berechnen:

Dies erfordert die Gleichsetzung partieller Ableitungen in Bezug auf die neuen Variablen a und b mit null und die Lösung eines primitiven Systems, das aus zwei Gleichungen mit zwei Unbekannten der Form besteht:

Nach einfachen Transformationen, einschließlich der Division durch 2 und der Manipulation der Summen, erhalten wir:

Wenn wir es beispielsweise mit der Cramer-Methode lösen, erhalten wir einen stationären Punkt mit bestimmten Koeffizienten a * und b * . Dies ist das Minimum, d.h. um vorherzusagen, welchen Umsatz das Geschäft für eine bestimmte Fläche haben wird, eignet sich die Gerade y = a * x + b*, die für das jeweilige Beispiel ein Regressionsmodell darstellt. Natürlich können Sie damit nicht das genaue Ergebnis finden, aber es hilft Ihnen, eine Vorstellung davon zu bekommen, ob sich der Kauf eines Geschäfts auf Kredit für einen bestimmten Bereich auszahlt.

So implementieren Sie die Methode der kleinsten Quadrate in Excel

Excel verfügt über eine Funktion zur Berechnung des Wertes der kleinsten Quadrate. Es hat die folgende Form: TREND (bekannte Y-Werte; bekannte X-Werte; neue X-Werte; Konstante). Wenden wir die Formel zur Berechnung des OLS in Excel auf unsere Tabelle an.

Geben Sie dazu in der Zelle, in der das Ergebnis der Berechnung nach der Methode der kleinsten Quadrate in Excel angezeigt werden soll, das Zeichen „=“ ein und wählen Sie die Funktion „TREND“. Füllen Sie im sich öffnenden Fenster die entsprechenden Felder aus und markieren Sie Folgendes:

Bereich bekannter Werte für Y (in diesem Fall Daten für den Umsatz);
Bereich x 1 , …x n , d. h. die Größe der Verkaufsfläche;
und bekannte und unbekannte Werte von x, für die Sie die Größe des Umsatzes ermitteln müssen (Informationen zu deren Position auf dem Arbeitsblatt finden Sie unten).

Darüber hinaus gibt es in der Formel eine logische Variable „Const“. Wenn Sie in das entsprechende Feld 1 eingeben, bedeutet dies, dass Berechnungen unter der Annahme durchgeführt werden sollten, dass b \u003d 0 ist.

Wenn Sie die Prognose für mehr als einen x-Wert kennen müssen, sollten Sie nach Eingabe der Formel nicht die Eingabetaste drücken, sondern die Kombination „Umschalttaste“ + „Strg“ + „Eingabetaste“ („Eingabetaste“) eingeben. ) auf der Tastatur.

Einige Eigenschaften

Die Regressionsanalyse kann auch für Dummköpfe zugänglich sein. Die Excel-Formel zur Vorhersage des Wertes eines Arrays unbekannter Variablen – „TREND“ – kann auch von denen verwendet werden, die noch nie von der Methode der kleinsten Quadrate gehört haben. Es reicht aus, nur einige Merkmale seiner Arbeit zu kennen. Insbesondere:

Wenn Sie den Bereich bekannter Werte der Variablen y in einer Zeile oder Spalte platzieren, wird jede Zeile (Spalte) mit bekannten Werten von x vom Programm als separate Variable wahrgenommen.
Wenn der Bereich mit bekanntem x im TREND-Fenster nicht angegeben ist, betrachtet das Programm sie bei Verwendung der Funktion in Excel als ein Array bestehend aus ganzen Zahlen, deren Anzahl dem Bereich mit den angegebenen Werten entspricht der Variablen y.
Um ein Array von „vorhergesagten“ Werten auszugeben, muss der Trendausdruck als Arrayformel eingegeben werden.
Wenn keine neuen x-Werte angegeben werden, betrachtet die TREND-Funktion diese als gleich den bekannten. Wenn sie nicht angegeben sind, wird Array 1 als Argument verwendet; 2; 3; 4;…, was dem Bereich mit bereits angegebenen Parametern y entspricht.
Der Bereich, der die neuen x-Werte enthält, muss die gleichen oder mehr Zeilen oder Spalten haben wie der Bereich mit den angegebenen y-Werten. Mit anderen Worten, es muss proportional zu den unabhängigen Variablen sein.
Ein Array mit bekannten x-Werten kann mehrere Variablen enthalten. Wenn wir jedoch nur von einem sprechen, ist es erforderlich, dass die Bereiche mit den angegebenen Werten von x und y angemessen sind. Bei mehreren Variablen ist es erforderlich, dass der Bereich mit den angegebenen y-Werten in eine Spalte oder eine Zeile passt.

FORECAST-Funktion

Die Umsetzung erfolgt über mehrere Funktionen. Eine davon heißt „PREDICTION“. Es ähnelt TREND, d. h. es gibt das Ergebnis von Berechnungen nach der Methode der kleinsten Quadrate an. Allerdings nur für ein X, für das der Wert von Y unbekannt ist.

Jetzt kennen Sie die Excel-Formeln für Dummies, mit denen Sie den Wert des zukünftigen Wertes eines Indikators anhand eines linearen Trends vorhersagen können.

Das Problem besteht darin, die linearen Abhängigkeitskoeffizienten zu finden, für die die Funktion zweier Variablen gilt A Und B nimmt den kleinsten Wert an. Das heißt, angesichts der Daten A Und B die Summe der quadrierten Abweichungen der experimentellen Daten von der gefundenen Geraden wird am kleinsten sein. Das ist der Sinn der Methode der kleinsten Quadrate.

Somit reduziert sich die Lösung des Beispiels darauf, das Extremum einer Funktion zweier Variablen zu finden.

Ableitung von Formeln zum Finden von Koeffizienten. Ein System aus zwei Gleichungen mit zwei Unbekannten wird erstellt und gelöst. Partielle Ableitungen von Funktionen finden nach Variablen A Und B, setzen wir diese Ableitungen mit Null gleich.

Wir lösen das resultierende Gleichungssystem mit einer beliebigen Methode (z. B. der Substitutionsmethode oder der Cramer-Methode) und erhalten Formeln zum Ermitteln der Koeffizienten mithilfe der Methode der kleinsten Quadrate (LSM).

Mit Daten A Und B Funktion nimmt den kleinsten Wert an.

Das ist die ganze Methode der kleinsten Quadrate. Formel zum Finden des Parameters A enthält die Summen , , und den Parameter N- Menge experimenteller Daten. Es wird empfohlen, die Werte dieser Summen separat zu berechnen. Koeffizient B nach Berechnung gefunden A.

Das Hauptanwendungsgebiet solcher Polynome ist die Verarbeitung experimenteller Daten (die Konstruktion empirischer Formeln). Tatsache ist, dass das aus den mit Hilfe des Experiments erhaltenen Funktionswerten konstruierte Interpolationspolynom stark durch „experimentelles Rauschen“ beeinflusst wird, außerdem können die Interpolationsknoten während der Interpolation nicht wiederholt werden, d.h. Sie können die Ergebnisse wiederholter Experimente unter denselben Bedingungen nicht verwenden. Das Effektivwertpolynom glättet das Rauschen und ermöglicht die Nutzung der Ergebnisse mehrerer Experimente.

Numerische Integration und Differenzierung. Beispiel.

Numerische Integration- Berechnung des Wertes eines bestimmten Integrals (in der Regel ungefähr). Unter numerischer Integration versteht man eine Reihe numerischer Methoden zur Ermittlung des Wertes eines bestimmten Integrals.

Numerische Differenzierung– eine Reihe von Methoden zur Berechnung des Wertes der Ableitung einer diskret gegebenen Funktion.

Integration

Formulierung des Problems. Mathematische Problemstellung: Es ist notwendig, den Wert eines bestimmten Integrals zu ermitteln

wobei a, b endlich sind und f(x) auf [à, b] stetig ist.

Bei der Lösung praktischer Probleme kommt es häufig vor, dass das Integral unbequem oder nicht analytisch zu erfassen ist: Es darf nicht in Elementarfunktionen ausgedrückt werden, der Integrand kann in Form einer Tabelle angegeben werden usw. In solchen Fällen sind numerische Integrationsmethoden hilfreich gebraucht. Numerische Integrationsmethoden verwenden den Ersatz der Fläche eines krummlinigen Trapezes durch eine endliche Summe von Flächen einfacherer geometrischer Formen, die genau berechnet werden können. In diesem Sinne spricht man von der Verwendung von Quadraturformeln.

Die meisten Methoden nutzen die Darstellung des Integrals als endliche Summe (Quadraturformel):

Den Quadraturformeln liegt die Idee zugrunde, den Graphen des Integranden auf dem Integrationsintervall durch Funktionen einfacherer Form zu ersetzen, die sich leicht analytisch integrieren und somit leicht berechnen lassen. Die einfachste Aufgabe der Konstruktion von Quadraturformeln wird für polynomiale mathematische Modelle realisiert.

Es lassen sich drei Gruppen von Methoden unterscheiden:

1. Methode mit Aufteilung des Integrationssegments in gleiche Intervalle. Die Einteilung in Intervalle erfolgt im Vorfeld, in der Regel werden die Intervalle gleich gewählt (um die Berechnung der Funktion an den Intervallenden einfacher zu machen). Flächen berechnen und aufsummieren (Rechteck-, Trapez-, Simpson-Methode).

2. Methoden mit Partitionierung des Integrationssegments anhand spezieller Punkte (Gauss-Methode).

3. Berechnung von Integralen mit Zufallszahlen (Monte-Carlo-Methode).

Rechteckmethode. Lassen Sie die Funktion (Zeichnung) numerisch auf der Strecke integrieren. Wir teilen das Segment in N gleiche Intervalle auf. Die Fläche jedes der N krummlinigen Trapeze kann durch die Fläche eines Rechtecks ersetzt werden.

Die Breite aller Rechtecke ist gleich und beträgt:

Als Auswahl der Höhe der Rechtecke können Sie den Wert der Funktion am linken Rand auswählen. In diesem Fall beträgt die Höhe des ersten Rechtecks f(a), die Höhe des zweiten Rechtecks beträgt f(x 1),…, N-f(N-1).

Wenn wir den Wert der Funktion am rechten Rand als Wahl für die Höhe des Rechtecks annehmen, beträgt in diesem Fall die Höhe des ersten Rechtecks f (x 1), das zweite - f (x 2), . .., N - f (x N).

Wie man sieht, gibt in diesem Fall eine der Formeln eine Annäherung an das Integral mit einem Überschuss und die zweite mit einem Mangel an. Es gibt noch eine andere Möglichkeit – den Wert der Funktion in der Mitte des Integrationssegments zur Näherung zu verwenden:

Schätzung des absoluten Fehlers der Rechteckmethode (Mitte)

Schätzung des absoluten Fehlers der Methoden für linke und rechte Rechtecke.

Beispiel. Berechnen Sie für das gesamte Intervall und teilen Sie das Intervall in vier Abschnitte auf

Lösung. Die analytische Berechnung dieses Integrals ergibt I=arctg(1)–arctg(0)=0,7853981634. In unserem Fall:

1) h = 1; xo = 0; x1 = 1;

2) h = 0,25 (1/4); x0 = 0; x1 = 0,25; x2 = 0,5; x3 = 0,75; x4 = 1;

Wir berechnen nach der Methode der linken Rechtecke:

Wir berechnen nach der Methode der rechten Rechtecke:

Berechnen Sie nach der Methode der durchschnittlichen Rechtecke:

Trapezmethode. Die Verwendung eines Polynoms ersten Grades zur Interpolation (eine durch zwei Punkte gezogene Gerade) führt zur Trapezformel. Die Enden des Integrationssegments werden als Interpolationsknoten verwendet. Somit wird das krummlinige Trapez durch ein gewöhnliches Trapez ersetzt, dessen Fläche sich als Produkt der halben Summe der Grundflächen und der Höhe ergibt

Bei N-Integrationssegmenten für alle Knoten mit Ausnahme der Extrempunkte des Segments wird der Wert der Funktion zweimal in die Gesamtsumme einbezogen (da benachbarte Trapeze eine gemeinsame Seite haben).

Die Trapezformel kann erhalten werden, indem die Hälfte der Summe der Rechteckformeln entlang der rechten und linken Kante des Segments gebildet wird:

Überprüfung der Stabilität der Lösung. In der Regel gilt: Je kürzer die Länge jedes Intervalls, d.h. Je größer die Anzahl dieser Intervalle ist, desto geringer ist der Unterschied zwischen den ungefähren und genauen Werten des Integrals. Dies gilt für die meisten Funktionen. Bei der Trapezmethode ist der Fehler bei der Berechnung des Integrals ϭ ungefähr proportional zum Quadrat des Integrationsschritts (ϭ ~ h 2). Um das Integral einer bestimmten Funktion in den Grenzen a, b zu berechnen, ist es daher erforderlich Teilen Sie das Segment in N 0 Intervalle und ermitteln Sie die Summe der Flächen des Trapezes. Dann müssen Sie die Anzahl der Intervalle N 1 erhöhen, erneut die Summe des Trapezes berechnen und den resultierenden Wert mit dem vorherigen Ergebnis vergleichen. Dies sollte bis (N i) wiederholt werden, bis die angegebene Genauigkeit des Ergebnisses (Konvergenzkriterium) erreicht ist.

Bei den Rechteck- und Trapezmethoden erhöht sich die Anzahl der Intervalle normalerweise bei jedem Iterationsschritt um den Faktor 2 (N i +1 = 2N i).

Konvergenzkriterium:

Der Hauptvorteil der Trapezregel ist ihre Einfachheit. Wenn die Integration jedoch eine hohe Präzision erfordert, sind für diese Methode möglicherweise zu viele Iterationen erforderlich.

Absoluter Fehler der Trapezmethode bewertet als
.

Beispiel. Berechnen Sie ein annähernd bestimmtes Integral mit der Trapezformel.

a) Aufteilung des Integrationssegments in 3 Teile.
b) Aufteilung des Integrationssegments in 5 Teile.

Lösung:
a) Gemäß der Bedingung muss das Integrationssegment in 3 Teile unterteilt werden, d. h.
Berechnen Sie die Länge jedes Segments der Partition: .

Damit wird die allgemeine Formel der Trapeze auf eine angenehme Größe reduziert:

Endlich:

Ich erinnere Sie daran, dass der resultierende Wert ein ungefährer Wert der Fläche ist.

b) Wir teilen das Integrationssegment in 5 gleiche Teile, also . Durch die Erhöhung der Anzahl der Segmente erhöhen wir die Genauigkeit der Berechnungen.

Wenn , dann nimmt die Trapezformel die folgende Form an:

Suchen wir den Partitionierungsschritt:
, das heißt, die Länge jedes Zwischensegments beträgt 0,6.

Am Ende der Aufgabe ist es praktisch, alle Berechnungen mit einer Berechnungstabelle zu erstellen:

In der ersten Zeile schreiben wir „counter“

Ergebend:

Nun ja, es gibt wirklich eine Klarstellung, und zwar eine ernsthafte!
Wenn für 3 Segmente der Partition, dann für 5 Segmente. Wenn Sie noch mehr Segment nehmen, wird => noch genauer sein.

Simpson-Formel. Die Trapezformel liefert ein Ergebnis, das stark von der Schrittweite h abhängt, was sich auf die Genauigkeit der Berechnung eines bestimmten Integrals auswirkt, insbesondere in Fällen, in denen die Funktion nichtmonoton ist. Von einer Erhöhung der Genauigkeit der Berechnungen kann man ausgehen, wenn wir anstelle von Geradensegmenten, die die krummlinigen Fragmente des Graphen der Funktion f(x) ersetzen, beispielsweise Fragmente von Parabeln verwenden, die durch drei benachbarte Punkte des Graphen gegeben sind . Eine ähnliche geometrische Interpretation liegt Simpsons Methode zur Berechnung des bestimmten Integrals zugrunde. Das gesamte Integrationsintervall a,b wird in N Segmente unterteilt, die Länge des Segments ist ebenfalls gleich h=(b-a)/N.

Simpsons Formel lautet:

Restlaufzeit

Mit zunehmender Länge der Segmente nimmt die Genauigkeit der Formel ab. Um die Genauigkeit zu erhöhen, wird daher die zusammengesetzte Simpson-Formel verwendet. Das gesamte Integrationsintervall wird in eine gerade Anzahl identischer Segmente N unterteilt, die Länge des Segments ist ebenfalls gleich h=(b-a)/N. Die zusammengesetzte Simpson-Formel lautet:

In der Formel sind die Ausdrücke in Klammern die Summen der Integrandenwerte an den Enden der ungeraden und geraden internen Segmente.

Der Restterm der Simpson-Formel ist bereits proportional zur vierten Potenz des Schrittes:

Beispiel: Berechnen Sie das Integral mit der Simpson-Regel. (Genaue Lösung - 0,2)

Gauß-Methode

Quadraturformel von Gauß. Das Grundprinzip der Quadraturformeln der zweiten Sorte ist aus Abbildung 1.12 ersichtlich: Es ist notwendig, die Punkte auf diese Weise zu platzieren X 0 und X 1 innerhalb des Segments [ A;B], sodass die Flächen der „Dreiecke“ insgesamt gleich den Flächen des „Segments“ sind. Bei Verwendung der Gauß-Formel ist das Anfangssegment [ A;B] wird durch Änderung der Variablen auf das Intervall [-1;1] reduziert X An

0.5∙(B– A)∙T+ 0.5∙(B + A).

Dann , Wo .

Diese Ersetzung ist möglich, wenn A Und B sind endlich, und die Funktion F(X) ist stetig auf [ A;B]. Gauß-Formel für N Punkte x i, ich=0,1,..,N-1 innerhalb des Segments [ A;B]:

, (1.27)

Wo t i Und Ai für verschiedene N sind in Nachschlagewerken angegeben. Zum Beispiel wann N=2 A 0 =A 1=1; bei N=3: T 0 =t 2" 0,775, T 1 =0, A 0 =A 2" 0,555, A 1" 0,889.

Quadraturformel von Gauß

erhalten mit einer Gewichtsfunktion gleich eins p(x)= 1 und Knoten x i, die die Wurzeln der Legendre-Polynome sind

Chancen Ai leicht mit Formeln zu berechnen

ich=0,1,2,...N.

Die Werte der Knoten und Koeffizienten für n=2,3,4,5 sind in der Tabelle angegeben

Befehl	Knoten	Chancen
N=2	x 1=0 x 0 =-x2=0.7745966692	Eine 1=8/9 A 0 = A 2=5/9
N=3	x 2 =-x 1=0.3399810436 x 3 =-x0=0.8611363116	A 1 = A 2=0.6521451549 A 0 = A 3=0.6521451549
n=4	X 2 = 0 X 3 = -X 1 = 0.5384693101 X 4 =-X 0 =0.9061798459	A 0 =0.568888899 A 3 =A 1 =0.4786286705 A 0 =A 4 =0.2869268851
N=5	X 5 = -X 0 =0.9324695142 X 4 = -X 1 =0.6612093865 X 3 = -X 2 =0.2386191861	A 5 =A 0 =0.1713244924 A 4 =A 1 =0.3607615730 A 3 =A 2 =0.4679139346

Beispiel. Berechnen Sie den Wert mit der Gauß-Formel für N=2:

Genauer Wert: .

Der Algorithmus zur Berechnung des Integrals nach der Gauß-Formel sieht nicht vor, die Anzahl der Mikrosegmente zu verdoppeln, sondern die Anzahl der Ordinaten um 1 zu erhöhen und die erhaltenen Werte des Integrals zu vergleichen. Der Vorteil der Gauß-Formel ist eine hohe Genauigkeit bei relativ geringer Ordinatenzahl. Nachteile: unpraktisch für manuelle Berechnungen; müssen im Computerspeicher gespeichert werden t i, Ai für diverse N.

Der Fehler der Gaußschen Quadraturformel auf dem Segment wird gleichzeitig für die Formel des Restterms sein, wo der Koeffizient α ist N nimmt mit dem Wachstum schnell ab N. Hier

Gauß-Formeln bieten bereits bei einer geringen Anzahl von Knoten (von 4 bis 10) eine hohe Genauigkeit. In diesem Fall liegt die Anzahl der Knoten in praktischen Berechnungen zwischen mehreren Hundert und mehreren Tausend. Wir stellen außerdem fest, dass die Gewichte der Gaußschen Quadraturen immer positiv sind, was die Stabilität des Algorithmus zur Berechnung der Summen gewährleistet

Mit der Methode der kleinsten Quadrate (LSM) können Sie verschiedene Größen anhand der Ergebnisse vieler Messungen schätzen, die zufällige Fehler enthalten.

Charakteristischer MNC

Die Grundidee dieser Methode besteht darin, dass die Summe der Fehlerquadrate als Kriterium für die Genauigkeit der Lösung des Problems betrachtet wird, das minimiert werden soll. Bei der Anwendung dieser Methode können sowohl numerische als auch analytische Ansätze angewendet werden.

Als numerische Implementierung beinhaltet die Methode der kleinsten Quadrate insbesondere die Durchführung möglichst vieler Messungen einer unbekannten Zufallsvariablen. Darüber hinaus ist die Lösung umso genauer, je mehr Berechnungen durchgeführt werden. Auf der Grundlage dieser Berechnungen (Ausgangsdaten) wird ein weiterer Satz vorgeschlagener Lösungen ermittelt, aus denen dann die beste ausgewählt wird. Wenn die Lösungsmenge parametrisiert ist, reduziert sich die Methode der kleinsten Quadrate darauf, den optimalen Wert der Parameter zu finden.

Als analytischer Ansatz für die Implementierung von LSM werden einige (funktionale) Lösungen anhand eines Satzes von Ausgangsdaten (Messungen) und eines vorgeschlagenen Satzes von Lösungen definiert, die durch eine Formel ausgedrückt werden können, die als eine bestimmte Hypothese erhalten wird, die bestätigt werden muss. In diesem Fall reduziert sich die Methode der kleinsten Quadrate darauf, das Minimum dieser Funktion auf der Menge der quadratischen Fehler der Anfangsdaten zu finden.

Beachten Sie, dass es sich nicht um die Fehler selbst handelt, sondern um die Fehlerquadrate. Warum? Tatsache ist, dass die Abweichungen der Messungen vom exakten Wert oft sowohl positiv als auch negativ sind. Bei der Mittelwertbildung kann eine einfache Summation zu einer falschen Schlussfolgerung über die Qualität der Schätzung führen, da durch die gegenseitige Aufhebung positiver und negativer Werte die Stichprobenleistung des Messsatzes verringert wird. Und damit auch die Genauigkeit der Beurteilung.

Um dies zu verhindern, werden die quadrierten Abweichungen aufsummiert. Darüber hinaus wird die Summe der quadratischen Fehler zur Extraktion verwendet, um die Dimension des Messwerts und der endgültigen Schätzung anzugleichen

Einige Anwendungen von MNCs

MNC wird in verschiedenen Bereichen häufig eingesetzt. In der Wahrscheinlichkeitstheorie und der mathematischen Statistik wird die Methode beispielsweise verwendet, um ein Merkmal einer Zufallsvariablen wie die Standardabweichung zu bestimmen, die die Breite des Wertebereichs der Zufallsvariablen bestimmt.

Die Approximation experimenteller Daten ist eine Methode, die auf dem Ersetzen experimentell erhaltener Daten durch eine analytische Funktion basiert, die an den Knotenpunkten am ehesten mit den Anfangswerten (Daten, die während des Experiments oder Experiments erhalten wurden) übereinstimmt oder mit diesen übereinstimmt. Derzeit gibt es zwei Möglichkeiten, eine Analysefunktion zu definieren:

Durch die Konstruktion eines n-Grad-Interpolationspolynoms, das besteht direkt durch alle Punkte gegebenes Datenarray. In diesem Fall wird die Näherungsfunktion dargestellt als: ein Interpolationspolynom in der Lagrange-Form oder ein Interpolationspolynom in der Newton-Form.

Durch die Konstruktion eines Approximationspolynoms n-ten Grades, das erfüllt ist in der Nähe von Punkten aus dem angegebenen Datenarray. Somit glättet die Näherungsfunktion alle zufälligen Störungen (oder Fehler), die während des Experiments auftreten können: Die Messwerte während des Experiments hängen von Zufallsfaktoren ab, die nach ihren eigenen Zufallsgesetzen schwanken (Mess- oder Gerätefehler, Ungenauigkeit oder experimentell). Fehler). In diesem Fall wird die Näherungsfunktion nach der Methode der kleinsten Quadrate bestimmt.

Methode der kleinsten Quadrate(in der englischen Literatur Ordinary Least Squares, OLS) ist eine mathematische Methode, die auf der Definition einer Näherungsfunktion basiert, die in der nächsten Nähe zu Punkten aus einem bestimmten Array experimenteller Daten erstellt wird. Die Nähe der Anfangs- und Näherungsfunktion F(x) wird durch ein numerisches Maß bestimmt, nämlich: Die Summe der quadratischen Abweichungen der experimentellen Daten von der Näherungskurve F(x) sollte am kleinsten sein.

Anpassungskurve, erstellt nach der Methode der kleinsten Quadrate

Es wird die Methode der kleinsten Quadrate verwendet:

Überbestimmte Gleichungssysteme lösen, wenn die Anzahl der Gleichungen die Anzahl der Unbekannten übersteigt;

Suche nach einer Lösung für gewöhnliche (nicht überbestimmte) nichtlineare Gleichungssysteme;

Zur Annäherung von Punktwerten durch eine Näherungsfunktion.

Die Näherungsfunktion nach der Methode der kleinsten Quadrate wird aus der Bedingung der minimalen Summe der quadratischen Abweichungen der berechneten Näherungsfunktion von einer gegebenen Reihe experimenteller Daten bestimmt. Dieses Kriterium der Methode der kleinsten Quadrate wird als folgender Ausdruck geschrieben:

Werte der berechneten Näherungsfunktion an Knotenpunkten,

Angegebenes Array experimenteller Daten an Knotenpunkten.

Das quadratische Kriterium verfügt über eine Reihe „guter“ Eigenschaften, wie z. B. Differenzierbarkeit, und bietet eine einzigartige Lösung für das Approximationsproblem mit polynomialen Approximationsfunktionen.

Abhängig von den Bedingungen des Problems ist die Näherungsfunktion ein Polynom vom Grad m

Der Grad der Näherungsfunktion hängt nicht von der Anzahl der Knotenpunkte ab, ihre Dimension muss jedoch immer kleiner sein als die Dimension (Anzahl der Punkte) des gegebenen Arrays experimenteller Daten.

∙ Wenn der Grad der Näherungsfunktion m=1 ist, dann approximieren wir die Tabellenfunktion mit einer Geraden (lineare Regression).

∙ Wenn der Grad der Näherungsfunktion m=2 ist, dann approximieren wir die Tabellenfunktion mit einer quadratischen Parabel (quadratische Näherung).

∙ Wenn der Grad der Näherungsfunktion m=3 ist, dann approximieren wir die Tabellenfunktion mit einer kubischen Parabel (kubische Näherung).

Im allgemeinen Fall, wenn es erforderlich ist, für gegebene Tabellenwerte ein Näherungspolynom vom Grad m zu konstruieren, wird die Bedingung für die minimale Summe der quadratischen Abweichungen über alle Knotenpunkte in der folgenden Form umgeschrieben:

- unbekannte Koeffizienten des Approximationspolynoms vom Grad m;

Die Anzahl der angegebenen Tabellenwerte.

Eine notwendige Bedingung für die Existenz eines Minimums einer Funktion ist die Gleichheit ihrer partiellen Ableitungen nach unbekannten Variablen mit Null . Als Ergebnis erhalten wir das folgende Gleichungssystem:

Lassen Sie uns das resultierende lineare Gleichungssystem transformieren: Öffnen Sie die Klammern und verschieben Sie die freien Terme auf die rechte Seite des Ausdrucks. Als Ergebnis wird das resultierende System linearer algebraischer Ausdrücke in der folgenden Form geschrieben:

Dieses System linearer algebraischer Ausdrücke kann in Matrixform umgeschrieben werden:

Als Ergebnis wurde ein lineares Gleichungssystem der Dimension m + 1 erhalten, das aus m + 1 Unbekannten besteht. Dieses System kann mit jeder Methode zur Lösung linearer algebraischer Gleichungen gelöst werden (z. B. der Gauß-Methode). Als Ergebnis der Lösung werden unbekannte Parameter der Näherungsfunktion gefunden, die die minimale Summe der quadratischen Abweichungen der Näherungsfunktion von den Originaldaten liefern, d.h. die bestmögliche quadratische Näherung. Es ist zu beachten, dass bei einer Änderung auch nur eines Werts der Anfangsdaten alle Koeffizienten ihre Werte ändern, da sie vollständig durch die Anfangsdaten bestimmt werden.

Annäherung der Ausgangsdaten durch lineare Abhängigkeit

(lineare Regression)

Betrachten Sie als Beispiel die Methode zur Bestimmung der Näherungsfunktion, die als lineare Beziehung angegeben wird. Gemäß der Methode der kleinsten Quadrate lautet die Bedingung für die minimale Summe der quadratischen Abweichungen wie folgt:

Koordinaten der Knotenpunkte der Tabelle;

Unbekannte Koeffizienten der Näherungsfunktion, die als lineare Beziehung angegeben wird.

Eine notwendige Bedingung für die Existenz eines Minimums einer Funktion ist die Gleichheit ihrer partiellen Ableitungen nach unbekannten Variablen mit Null. Als Ergebnis erhalten wir das folgende Gleichungssystem:

Lassen Sie uns das resultierende lineare Gleichungssystem transformieren.

Wir lösen das resultierende lineare Gleichungssystem. Die Koeffizienten der Näherungsfunktion in der analytischen Form werden wie folgt bestimmt (Cramer-Methode):

Diese Koeffizienten ermöglichen die Konstruktion einer linearen Näherungsfunktion gemäß dem Kriterium zur Minimierung der Quadratsumme der Näherungsfunktion aus gegebenen Tabellenwerten (experimentelle Daten).

Algorithmus zur Implementierung der Methode der kleinsten Quadrate

1. Ausgangsdaten:

Gegeben sei eine Reihe experimenteller Daten mit der Anzahl der Messungen N

Angegeben ist der Grad des Approximationspolynoms (m).

2. Berechnungsalgorithmus:

2.1. Zur Konstruktion eines Gleichungssystems mit Dimension werden Koeffizienten bestimmt

Koeffizienten des Gleichungssystems (linke Seite der Gleichung)

- Index der Spaltennummer der quadratischen Matrix des Gleichungssystems

Freie Mitglieder des linearen Gleichungssystems (rechte Seite der Gleichung)

- Index der Zeilennummer der quadratischen Matrix des Gleichungssystems

2.2. Bildung eines Systems linearer Gleichungen mit der Dimension .

2.3. Lösung eines linearen Gleichungssystems zur Bestimmung der unbekannten Koeffizienten des Approximationspolynoms vom Grad m.

2.4 Bestimmung der Summe der quadratischen Abweichungen des Approximationspolynoms von den Anfangswerten über alle Knotenpunkte

Der gefundene Wert der Summe der quadrierten Abweichungen ist der minimal mögliche Wert.

Approximation mit anderen Funktionen

Es ist zu beachten, dass bei der Approximation der Ausgangsdaten nach der Methode der kleinsten Quadrate manchmal eine logarithmische Funktion, eine Exponentialfunktion und eine Potenzfunktion als Näherungsfunktion verwendet werden.

Log-Näherung

Betrachten Sie den Fall, dass die Näherungsfunktion durch eine logarithmische Funktion der Form gegeben ist:

Methode der kleinsten Quadrate

Methode der kleinsten Quadrate ( MNK, OLS, gewöhnliche kleinste Quadrate) - eine der grundlegenden Methoden der Regressionsanalyse zur Schätzung unbekannter Parameter von Regressionsmodellen aus Beispieldaten. Die Methode basiert auf der Minimierung der Summe der Quadrate der Regressionsresiduen.

Es ist zu beachten, dass die Methode der kleinsten Quadrate selbst als Methode zur Lösung eines Problems in einem beliebigen Bereich bezeichnet werden kann, wenn die Lösung aus einem bestimmten Kriterium zur Minimierung der Quadratsumme einiger Funktionen der unbekannten Variablen besteht oder ein bestimmtes Kriterium erfüllt. Daher kann die Methode der kleinsten Quadrate auch zur ungefähren Darstellung (Approximation) einer gegebenen Funktion durch andere (einfachere) Funktionen verwendet werden, wenn eine Menge von Größen gefunden wird, die Gleichungen oder Einschränkungen erfüllen, deren Anzahl die Anzahl dieser Größen übersteigt , usw.

Die Essenz des MNC

Lassen Sie ein (parametrisches) Modell der probabilistischen (Regressions-)Abhängigkeit zwischen der (erklärten) Variablen j und viele Faktoren (erklärende Variablen) X

Wo ist der Vektor unbekannter Modellparameter?

- Zufälliger Modellfehler.

Lassen Sie es auch Beispielbeobachtungen der Werte der angegebenen Variablen geben. Sei die Beobachtungszahl (). Dann sind die Werte der Variablen in der -ten Beobachtung. Dann ist es für gegebene Werte der Parameter b möglich, die theoretischen (Modell-)Werte der erklärten Variablen y zu berechnen:

Der Wert der Residuen hängt von den Werten der Parameter b ab.

Die Essenz von LSM (gewöhnlich, klassisch) besteht darin, solche Parameter b zu finden, für die die Summe der Quadrate der Residuen (eng. Restquadratsumme) wird minimal sein:

Im Allgemeinen kann dieses Problem durch numerische Methoden der Optimierung (Minimierung) gelöst werden. In diesem Fall spricht man von nichtlineare kleinste Quadrate(NLS oder NLLS – Englisch. Nichtlineare kleinste Quadrate). In vielen Fällen kann eine analytische Lösung erhalten werden. Um das Minimierungsproblem zu lösen, ist es notwendig, die stationären Punkte der Funktion zu finden, indem man sie nach den unbekannten Parametern b differenziert, die Ableitungen mit Null gleichsetzt und das resultierende Gleichungssystem löst:

Wenn die Zufallsfehler des Modells normalverteilt sind, die gleiche Varianz aufweisen und nicht miteinander korrelieren, sind die Parameterschätzungen der kleinsten Quadrate dieselben wie die Schätzungen der Maximum-Likelihood-Methode (MLM).

LSM im Fall eines linearen Modells

Die Regressionsabhängigkeit sei linear:

Lassen j- Spaltenvektor von Beobachtungen der erklärten Variablen und - Matrix von Beobachtungen von Faktoren (Zeilen der Matrix - Vektoren von Faktorwerten in einer bestimmten Beobachtung, nach Spalten - Vektor von Werten eines bestimmten Faktors in allen Beobachtungen) . Die Matrixdarstellung des linearen Modells hat die Form:

Dann sind der Vektor der Schätzungen der erklärten Variablen und der Vektor der Regressionsresiduen gleich

dementsprechend ist die Summe der Quadrate der Regressionsresiduen gleich

Wenn wir diese Funktion nach dem Parametervektor differenzieren und die Ableitungen mit Null gleichsetzen, erhalten wir ein Gleichungssystem (in Matrixform):

Die Lösung dieses Gleichungssystems ergibt die allgemeine Formel für die Schätzungen der kleinsten Quadrate für das lineare Modell:

Für analytische Zwecke erweist sich die letzte Darstellung dieser Formel als nützlich. Wenn die Daten im Regressionsmodell zentriert, dann hat in dieser Darstellung die erste Matrix die Bedeutung der Kovarianzmatrix der Faktoren der Stichprobe und die zweite ist der Vektor der Kovarianzen der Faktoren mit abhängiger Variable. Wenn darüber hinaus die Daten auch normalisiert beim SKO (das heißt letztendlich standardisiert), dann hat die erste Matrix die Bedeutung der Stichprobenkorrelationsmatrix von Faktoren, der zweite Vektor - der Vektor der Stichprobenkorrelationen von Faktoren mit der abhängigen Variablen.

Eine wichtige Eigenschaft von LLS-Schätzungen für Modelle mit einer Konstante- Die Linie der konstruierten Regression verläuft durch den Schwerpunkt der Stichprobendaten, d. h. die Gleichheit ist erfüllt:

Insbesondere im Extremfall, wenn der einzige Regressor eine Konstante ist, stellen wir fest, dass die OLS-Schätzung eines einzelnen Parameters (der Konstante selbst) gleich dem Mittelwert der zu erklärenden Variablen ist. Das heißt, das arithmetische Mittel, das für seine guten Eigenschaften aus den Gesetzen der großen Zahlen bekannt ist, ist auch eine Schätzung der kleinsten Quadrate – es erfüllt das Kriterium für die minimale Summe der quadratischen Abweichungen davon.

Beispiel: einfache (paarweise) Regression

Bei der gepaarten linearen Regression werden die Berechnungsformeln vereinfacht (Sie können auf Matrixalgebra verzichten):

Eigenschaften von OLS-Schätzungen

Zunächst stellen wir fest, dass bei linearen Modellen die Schätzungen der kleinsten Quadrate lineare Schätzungen sind, wie aus der obigen Formel hervorgeht. Für unverzerrte OLS-Schätzungen ist es notwendig und ausreichend, die wichtigste Bedingung der Regressionsanalyse zu erfüllen: Die mathematische Erwartung eines von den Faktoren abhängigen Zufallsfehlers muss gleich Null sein. Diese Voraussetzung ist insbesondere erfüllt, wenn

die mathematische Erwartung zufälliger Fehler ist Null und
Faktoren und Zufallsfehler sind unabhängige Zufallsvariablen.

Die zweite Bedingung – die Bedingung exogener Faktoren – ist grundlegend. Wenn diese Eigenschaft nicht erfüllt ist, können wir davon ausgehen, dass fast alle Schätzungen äußerst unbefriedigend sind: Sie sind nicht einmal konsistent (d. h. selbst eine sehr große Datenmenge ermöglicht in diesem Fall keine qualitativen Schätzungen). Im klassischen Fall wird im Gegensatz zu einem Zufallsfehler eine stärkere Annahme über den Determinismus von Faktoren getroffen, was automatisch bedeutet, dass die exogene Bedingung erfüllt ist. Im allgemeinen Fall reicht es für die Konsistenz der Schätzungen aus, die Exogenitätsbedingung zusammen mit der Konvergenz der Matrix zu einer nicht singulären Matrix bei einer Erhöhung der Stichprobengröße bis ins Unendliche zu erfüllen.

Damit die Schätzungen des (üblichen) LSM neben der Konsistenz und Unvoreingenommenheit auch effektiv sind (die besten in der Klasse der linearen unvoreingenommenen Schätzungen), müssen zusätzliche Eigenschaften eines Zufallsfehlers erfüllt werden:

Diese Annahmen können für die Kovarianzmatrix des Zufallsfehlervektors formuliert werden

Ein lineares Modell, das diese Bedingungen erfüllt, heißt klassisch. Die Schätzer der kleinsten Quadrate für die klassische lineare Regression sind erwartungstreue, konsistente und effizienteste Schätzer in der Klasse aller linearen erwartungstreuen Schätzer (die Abkürzung). Blau (Bester linearer, unvermittelter Schätzer) ist die beste lineare unverzerrte Schätzung; in der heimischen Literatur wird häufiger der Satz von Gauß-Markov zitiert). Wie leicht zu zeigen ist, ist die Kovarianzmatrix des Koeffizientenschätzungsvektors gleich:

Verallgemeinerte kleinste Quadrate

Die Methode der kleinsten Quadrate ermöglicht eine weitreichende Verallgemeinerung. Anstatt die Summe der Quadrate der Residuen zu minimieren, kann man eine positiv definite quadratische Form des Residuenvektors minimieren, bei der es sich um eine symmetrische positiv definite Gewichtsmatrix handelt. Gewöhnliche kleinste Quadrate sind ein Sonderfall dieses Ansatzes, bei dem die Gewichtsmatrix proportional zur Identitätsmatrix ist. Wie aus der Theorie der symmetrischen Matrizen (oder Operatoren) bekannt ist, gibt es für solche Matrizen eine Zerlegung. Daher kann das angegebene Funktional wie folgt dargestellt werden, das heißt, dieses Funktional kann als Summe der Quadrate einiger transformierter „Residuen“ dargestellt werden. Somit können wir eine Klasse von Methoden der kleinsten Quadrate unterscheiden – LS-Methoden (Least Squares).

Es ist bewiesen (Theorem von Aitken), dass für ein verallgemeinertes lineares Regressionsmodell (bei dem der Kovarianzmatrix zufälliger Fehler keine Einschränkungen auferlegt werden) die Schätzungen der sogenannten am effektivsten (in der Klasse der linearen unverzerrten Schätzungen) sind. verallgemeinertes OLS (OMNK, GLS – Generalized Least Squares)- LS-Methode mit einer Gewichtsmatrix gleich der inversen Kovarianzmatrix zufälliger Fehler: .

Es kann gezeigt werden, dass die Formel für die GLS-Schätzungen der Parameter des linearen Modells die Form hat

Die Kovarianzmatrix dieser Schätzungen ist jeweils gleich

Tatsächlich liegt das Wesen des OLS in einer bestimmten (linearen) Transformation (P) der Originaldaten und der Anwendung der üblichen kleinsten Quadrate auf die transformierten Daten. Der Zweck dieser Transformation besteht darin, dass für die transformierten Daten die Zufallsfehler bereits die klassischen Annahmen erfüllen.

Gewichtete kleinste Quadrate

Im Fall einer diagonalen Gewichtsmatrix (und damit der Kovarianzmatrix zufälliger Fehler) haben wir die sogenannten gewichteten kleinsten Quadrate (WLS – Weighted Least Squares). In diesem Fall wird die gewichtete Quadratsumme der Residuen des Modells minimiert, d. h. jede Beobachtung erhält ein „Gewicht“, das umgekehrt proportional zur Varianz des Zufallsfehlers in dieser Beobachtung ist: . Tatsächlich werden die Daten durch Gewichtung der Beobachtungen transformiert (Dividierung durch einen Betrag, der proportional zur angenommenen Standardabweichung der Zufallsfehler ist), und die normale Methode der kleinsten Quadrate wird auf die gewichteten Daten angewendet.

Einige spezielle Anwendungsfälle von LSM in der Praxis

Lineare Näherung

Stellen Sie sich den Fall vor, dass als Ergebnis der Untersuchung der Abhängigkeit einer bestimmten skalaren Größe von einer bestimmten skalaren Größe (dies kann beispielsweise die Abhängigkeit der Spannung von der Stromstärke sein: , wobei ein konstanter Wert der Widerstand des Leiters ist). ) wurden diese Größen gemessen, wodurch die Werte und ihre entsprechenden Werte ermittelt wurden. Messdaten sollten in einer Tabelle erfasst werden.

Tisch. Messergebnisse.

Messung Nr.
1
2
3
4
5
6

Die Frage lautet wie folgt: Welcher Wert des Koeffizienten kann gewählt werden, um die Abhängigkeit am besten zu beschreiben? Nach der Methode der kleinsten Quadrate sollte dieser Wert so sein, dass er die Summe der quadrierten Abweichungen der Werte von den Werten darstellt

war minimal

Die Summe der quadratischen Abweichungen hat ein Extremum – ein Minimum, was uns die Verwendung dieser Formel ermöglicht. Lassen Sie uns den Wert des Koeffizienten anhand dieser Formel ermitteln. Dazu transformieren wir seine linke Seite wie folgt:

Mit der letzten Formel können wir den Wert des Koeffizienten ermitteln, der im Problem benötigt wurde.

Geschichte

Bis zum Beginn des 19. Jahrhunderts. Wissenschaftler hatten keine bestimmten Regeln zum Lösen eines Gleichungssystems, in dem die Anzahl der Unbekannten geringer ist als die Anzahl der Gleichungen; Bis zu diesem Zeitpunkt wurden je nach Art der Gleichungen und dem Einfallsreichtum der Rechner bestimmte Methoden verwendet, und daher kamen verschiedene Rechner, ausgehend von denselben Beobachtungsdaten, zu unterschiedlichen Schlussfolgerungen. Gauß (1795) wird die erste Anwendung der Methode zugeschrieben, und Legendre (1805) entdeckte sie unabhängig und veröffentlichte sie unter ihrem modernen Namen (fr. Methode des mindersten Streits ). Laplace bezog die Methode auf die Wahrscheinlichkeitstheorie, und der amerikanische Mathematiker Adrain (1808) befasste sich mit ihren probabilistischen Anwendungen. Die Methode ist weit verbreitet und wurde durch weitere Forschungen von Encke, Bessel, Hansen und anderen verbessert.

Alternative Verwendung von MNCs

Die Idee der Methode der kleinsten Quadrate kann auch in anderen Fällen verwendet werden, die nicht direkt mit der Regressionsanalyse zusammenhängen. Tatsache ist, dass die Quadratsumme eines der gebräuchlichsten Näherungsmaße für Vektoren ist (die euklidische Metrik in endlichdimensionalen Räumen).

Eine Anwendung ist das „Lösen“ linearer Gleichungssysteme, bei denen die Anzahl der Gleichungen größer ist als die Anzahl der Variablen

wobei die Matrix nicht quadratisch, sondern rechteckig ist.

Ein solches Gleichungssystem hat im allgemeinen Fall keine Lösung (sofern der Rang tatsächlich größer ist als die Anzahl der Variablen). Daher kann dieses System nur in dem Sinne „gelöst“ werden, dass ein solcher Vektor gewählt wird, um den „Abstand“ zwischen den Vektoren und zu minimieren. Dazu können Sie das Kriterium zur Minimierung der Summe der quadrierten Differenzen des linken und rechten Teils der Gleichungen des Systems anwenden, also . Es lässt sich leicht zeigen, dass die Lösung dieses Minimierungsproblems zur Lösung des folgenden Gleichungssystems führt