Kärnan i minsta kvadratmetoden är: Var används minsta kvadratmetoden? Exempel på att lösa problem med minsta kvadratmetoden

Den har många applikationer, eftersom den tillåter en ungefärlig representation av en given funktion med andra enklare. LSM kan vara extremt användbar vid bearbetning av observationer, och den används aktivt för att uppskatta vissa kvantiteter baserat på resultaten av mätningar av andra som innehåller slumpmässiga fel. I den här artikeln kommer du att lära dig hur du implementerar minsta kvadratberäkningar i Excel.

Förklaring av problemet med ett specifikt exempel

Anta att det finns två indikatorer X och Y. Dessutom beror Y på X. Eftersom OLS intresserar oss ur regressionsanalyssynpunkt (i Excel implementeras dess metoder med inbyggda funktioner), bör vi omedelbart gå vidare till att överväga en specifikt problem.

Så låt X vara butiksytan för en livsmedelsbutik, mätt i kvadratmeter, och Y vara den årliga omsättningen, mätt i miljoner rubel.

Det krävs att man gör en prognos på vilken omsättning (Y) butiken kommer att ha om den har den eller den butiksytan. Uppenbarligen ökar funktionen Y = f (X), eftersom stormarknaden säljer fler varor än ståndet.

Några ord om riktigheten av de initiala data som används för förutsägelse

Låt oss säga att vi har en tabell byggd med hjälp av data för n butiker.

Enligt matematisk statistik blir resultaten mer eller mindre korrekta om data på minst 5-6 föremål undersöks. Dessutom kan "anomala" resultat inte användas. I synnerhet kan en liten elitbutik ha en omsättning som är flera gånger större än omsättningen för stora butiker i klassen "masmarket".

Kärnan i metoden

Tabelldata kan avbildas på ett kartesiskt plan i form av punkterna M 1 (x 1, y 1), ... M n (x n, y n). Nu kommer lösningen på problemet att reduceras till valet av en approximativ funktion y = f (x), som har en graf som går så nära punkterna M 1, M 2, .. M n som möjligt.

Naturligtvis kan du använda ett höggradigt polynom, men det här alternativet är inte bara svårt att implementera, utan också helt enkelt felaktigt, eftersom det inte kommer att spegla huvudtrenden som måste upptäckas. Den mest rimliga lösningen är att söka efter den räta linjen y = ax + b, som bäst approximerar experimentdata, eller mer exakt, koefficienterna a och b.

Noggrannhetsbedömning

Med någon approximation är det av särskild vikt att bedöma dess noggrannhet. Låt oss beteckna med e i skillnaden (avvikelsen) mellan de funktionella och experimentella värdena för punkt x i, dvs e i = y i - f (xi).

För att bedöma approximationens noggrannhet kan du självklart använda summan av avvikelser, d.v.s. när du väljer en rät linje för en ungefärlig representation av beroendet av X på Y, bör du ge företräde åt den med det minsta värdet av summa e i på alla punkter under övervägande. Men allt är inte så enkelt, eftersom det tillsammans med positiva avvikelser också kommer att finnas negativa.

Problemet kan lösas med avvikelsemoduler eller deras kvadrater. Den sista metoden är den mest använda. Den används inom många områden, inklusive regressionsanalys (implementerad i Excel med två inbyggda funktioner), och har länge bevisat sin effektivitet.

Minsta kvadratiska metod

Excel, som du vet, har en inbyggd AutoSum-funktion som låter dig beräkna värdena för alla värden som finns i det valda intervallet. Inget kommer alltså att hindra oss från att beräkna uttryckets värde (e 1 2 + e 2 2 + e 3 2 + ... e n 2).

I matematisk notation ser detta ut så här:

Eftersom beslutet från början togs att approximera med en rät linje, har vi:

Uppgiften att hitta den räta linje som bäst beskriver det specifika beroendet av storheterna X och Y går ut på att beräkna minimum av en funktion av två variabler:

För att göra detta måste du likställa de partiella derivatorna med avseende på de nya variablerna a och b till noll, och lösa ett primitivt system som består av två ekvationer med 2 okända av formen:

Efter några enkla transformationer, inklusive division med 2 och manipulering av summor, får vi:

Om vi löser det, till exempel med Cramers metod, får vi en stationär punkt med vissa koefficienter a * och b *. Detta är minimum, det vill säga för att förutsäga vilken omsättning en butik kommer att ha för ett visst område, är den räta linjen y = a * x + b * lämplig, vilket är en regressionsmodell för exemplet i fråga. Naturligtvis kommer det inte att tillåta dig att hitta det exakta resultatet, men det hjälper dig att få en uppfattning om huruvida att köpa ett specifikt område på butikskredit kommer att löna sig.

Hur man implementerar minsta kvadrater i Excel

Excel har en funktion för att beräkna värden med hjälp av minsta kvadrater. Den har följande form: "TREND" (kända Y-värden; kända X-värden; nya X-värden; konstant). Låt oss tillämpa formeln för att beräkna OLS i Excel på vår tabell.

För att göra detta, skriv in "="-tecknet i cellen där resultatet av beräkningen med minsta kvadratmetoden i Excel ska visas och välj funktionen "TREND". I fönstret som öppnas fyller du i lämpliga fält och markerar:

intervall av kända värden för Y (i detta fall data för handelsomsättning);
intervall x 1 , …x n , dvs storleken på butiksytan;
både kända och okända värden på x, för vilka du måste ta reda på storleken på omsättningen (för information om deras plats på kalkylbladet, se nedan).

Dessutom innehåller formeln den logiska variabeln "Const". Om du anger 1 i motsvarande fält betyder det att du ska utföra beräkningarna, förutsatt att b = 0.

Om du behöver ta reda på prognosen för mer än ett x-värde, efter att ha angett formeln ska du inte trycka på "Enter", utan du måste skriva kombinationen "Shift" + "Control" + "Enter" på tangentbordet.

Vissa funktioner

Regressionsanalys kan vara tillgänglig även för dummies. Excel-formeln för att förutsäga värdet av en rad okända variabler – TREND – kan användas även av dem som aldrig har hört talas om minsta kvadrater. Det räcker med att bara känna till några av funktionerna i dess arbete. Särskilt:

Om du ordnar intervallet av kända värden för variabeln y i en rad eller kolumn, kommer varje rad (kolumn) med kända värden på x att uppfattas av programmet som en separat variabel.
Om ett intervall med känt x inte anges i TREND-fönstret, när du använder funktionen i Excel, kommer programmet att behandla det som en matris bestående av heltal, vars antal motsvarar intervallet med de givna värdena för variabel y.
För att mata ut en matris med "förutspådda" värden måste uttrycket för att beräkna trenden anges som en matrisformel.
Om nya värden på x inte anges, anser TREND-funktionen dem vara lika med de kända. Om de inte är specificerade, tas array 1 som ett argument; 2; 3; 4;…, vilket är proportionerligt med intervallet med redan specificerade parametrar y.
Området som innehåller de nya x-värdena måste ha samma eller flera rader eller kolumner som intervallet som innehåller de givna y-värdena. Den måste med andra ord vara proportionell mot de oberoende variablerna.
En matris med kända x-värden kan innehålla flera variabler. Men om vi bara talar om en, så krävs det att intervallen med de givna värdena för x och y är proportionella. I fallet med flera variabler är det nödvändigt att intervallet med de givna y-värdena passar i en kolumn eller en rad.

PREDICTION funktion

Implementerad med flera funktioner. En av dem heter "PREDICTION". Det liknar "TREND", det vill säga det ger resultatet av beräkningar med minsta kvadratmetoden. Dock endast för ett X, för vilket värdet på Y är okänt.

Nu vet du formler i Excel för dummies som låter dig förutsäga det framtida värdet av en viss indikator enligt en linjär trend.

Uppgiften är att hitta de linjära beroendekoefficienterna där funktionen av två variabler A Och b tar det minsta värdet. Det vill säga givet A Och b summan av kvadrerade avvikelser för experimentdata från den hittade räta linjen kommer att vara den minsta. Detta är hela poängen med minsta kvadratmetoden.

Att lösa exemplet handlar alltså om att hitta extremumet för en funktion av två variabler.

Härleda formler för att hitta koefficienter. Ett system med två ekvationer med två okända kompileras och löses. Hitta de partiella derivatorna av en funktion genom variabler A Och b likställer vi dessa derivator till noll.

Vi löser det resulterande ekvationssystemet med vilken metod som helst (till exempel substitutionsmetoden eller Cramermetoden) och får formler för att hitta koefficienterna med minsta kvadratmetoden (LSM).

Given A Och b fungera tar det minsta värdet.

Det är hela metoden med minsta kvadrater. Formel för att hitta parametern a innehåller summorna , , och parametern n- mängd experimentella data. Vi rekommenderar att du beräknar värdena för dessa belopp separat. Koefficient b hittas efter beräkning a.

Det huvudsakliga tillämpningsområdet för sådana polynom är bearbetningen av experimentella data (konstruktion av empiriska formler). Faktum är att ett interpolationspolynom konstruerat från funktionsvärden som erhållits genom experiment kommer att påverkas starkt av "experimentellt brus"; dessutom kan interpolationsnoder inte upprepas vid interpolering, dvs. Resultaten av upprepade experiment under samma förhållanden kan inte användas. Rotmedelkvadratpolynomet jämnar ut brus och låter dig använda resultaten av flera experiment.

Numerisk integration och differentiering. Exempel.

Numerisk integration– beräkning av värdet av en bestämd integral (vanligtvis ungefärlig). Numerisk integration förstås som en uppsättning numeriska metoder för att hitta värdet av en viss integral.

Numerisk differentiering– en uppsättning metoder för att beräkna värdet av derivatan av en diskret specificerad funktion.

Integration

Formulering av problemet. Matematisk formulering av problemet: det är nödvändigt att hitta värdet av en bestämd integral

där a, b är ändliga, f(x) är kontinuerlig på [a, b].

När man löser praktiska problem händer det ofta att integralen är obekväm eller omöjlig att ta analytiskt: den kanske inte uttrycks i elementära funktioner, integranden kan ges i form av en tabell etc. I sådana fall är numeriska integrationsmetoder. Begagnade. Numeriska integrationsmetoder använder ersätter arean av en krökt trapets med en ändlig summa av arean av enklare geometriska figurer som kan beräknas exakt. I denna mening talar de om att använda kvadraturformler.

De flesta metoder använder en representation av integralen som en ändlig summa (kvadraturformel):

Kvadraturformler är baserade på idén att ersätta grafen för integranden på integrationssegmentet med funktioner i en enklare form, som enkelt kan integreras analytiskt och därmed lätt beräknas. Uppgiften att konstruera kvadraturformler är enklast implementerad för matematiska polynommodeller.

Tre grupper av metoder kan särskiljas:

1. Metod med att dela upp integrationssegmentet i lika intervall. Indelning i intervaller görs i förväg, vanligtvis väljs intervallen lika (för att göra det lättare att beräkna funktionen i intervallens slut). Beräkna areor och summera dem (rektangel, trapets, Simpson-metoder).

2. Metoder med partitionering av integrationssegmentet med hjälp av speciella punkter (Gauss-metoden).

3. Beräkning av integraler med slumptal (Monte Carlo-metoden).

Rektangelmetod. Låt funktionen (figuren) behöva integreras numeriskt på segmentet. Dela upp segmentet i N lika stora intervall. Arean av var och en av N böjda trapetser kan ersättas med arean av en rektangel.

Bredden på alla rektanglar är densamma och lika med:

För att välja höjden på rektanglarna kan du välja värdet på funktionen på den vänstra kanten. I detta fall kommer höjden på den första rektangeln att vara f(a), den andra - f(x 1),..., N-f(N-1).

Om vi tar värdet på funktionen på den högra gränsen för att välja höjden på rektangeln, kommer i det här fallet höjden på den första rektangeln att vara f(x 1), den andra - f(x 2), ... N - f(x N).

Som du kan se ger en av formlerna i det här fallet en approximation av integralen med ett överskott och den andra med en brist. Det finns ett annat sätt - att använda värdet på funktionen i mitten av integrationssegmentet för approximation:

Uppskattning av det absoluta felet för rektangelmetoden (mitten)

Uppskattning av det absoluta felet för metoderna för vänster och höger rektangel.

Exempel. Beräkna för hela intervallet och dela upp intervallet i fyra sektioner

Lösning. Analytisk beräkning av denna integral ger I=arctg(1)–arctg(0)=0,7853981634. I vårat fall:

1)h = 1; xo = 0; xl = 1;

2) h = 0,25 (1/4); x0 = 0; xl = 0,25; x2 = 0,5; x3 = 0,75; x4 = 1;

Låt oss beräkna med den vänstra rektangelmetoden:

Låt oss beräkna med den rätta rektangelmetoden:

Låt oss beräkna med den genomsnittliga rektangelmetoden:

Trapetsmetoden. Att använda ett förstagradspolynom (en rät linje som dras genom två punkter) för att interpolera resulterar i trapetsformeln. Integreringssegmentets ändar tas som interpolationsnoder. Således ersätts den kurvlinjära trapetsen av en vanlig trapets, vars area kan hittas som produkten av halva summan av baserna och höjden

I fallet med N integrationssegment för alla noder, med undantag för segmentets extrempunkter, kommer funktionens värde att inkluderas i den totala summan två gånger (eftersom intilliggande trapetser har en gemensam sida)

Den trapetsformade formeln kan erhållas genom att ta hälften av summan av formlerna för rektanglar längs höger och vänster kant av segmentet:

Kontrollerar lösningens stabilitet. Som regel gäller att ju kortare längden på varje intervall, dvs. ju fler dessa intervall är, desto mindre är skillnaden mellan integralens ungefärliga och exakta värden. Detta gäller för de flesta funktioner. I trapetsmetoden är felet vid beräkning av integralen ϭ ungefär proportionellt mot kvadraten på integrationssteget (ϭ ~ h 2). För att beräkna integralen för en viss funktion i termer av a, b, är det alltså nödvändigt att dela upp segmentet i N 0 intervall och hitta summan av trapetsens area. Sedan måste du öka antalet intervaller N 1, återigen beräkna summan av trapetsen och jämföra det resulterande värdet med det tidigare resultatet. Detta bör upprepas tills (N i) tills den specificerade noggrannheten för resultatet uppnås (konvergenskriteriet).

För rektangel- och trapetsmetoderna ökar vanligtvis antalet intervaller med 2 gånger vid varje iterationssteg (N i +1 = 2N i).

Konvergenskriterium:

Den största fördelen med den trapetsformade regeln är dess enkelhet. Men om hög precision krävs vid beräkning av integralen kan denna metod kräva för många iterationer.

Absolut fel i den trapetsformade metoden uppskattas som
.

Exempel. Beräkna en ungefärligen bestämd integral med hjälp av trapetsformeln.

a) Dela upp integrationssegmentet i 3 delar.
b) Dela upp integrationssegmentet i 5 delar.

Lösning:
a) Enligt villkoret ska integrationssegmentet delas upp i 3 delar, dvs.
Låt oss beräkna längden på varje partitionssegment: .

Således reduceras den allmänna formeln för trapezoider till en trevlig storlek:

Till sist:

Låt mig påminna dig om att det resulterande värdet är ett ungefärligt värde för området.

b) Låt oss dela upp integrationssegmentet i 5 lika delar, det vill säga. Genom att öka antalet segment ökar vi noggrannheten i beräkningarna.

Om , har den trapetsformade formeln följande form:

Låt oss hitta partitionssteget:
, det vill säga längden på varje mellansegment är 0,6.

När du slutför uppgiften är det bekvämt att formalisera alla beräkningar med hjälp av en beräkningstabell:

På första raden skriver vi "räknare"

Som ett resultat:

Tja, det finns verkligen ett klargörande, och ett seriöst sådant!
Om för 3 partitionssegment, så för 5 segment. Om du tar ett ännu större segment => blir det ännu mer exakt.

Simpsons formel. Trapetsformeln ger ett resultat som starkt beror på stegstorleken h, vilket påverkar noggrannheten vid beräkning av en viss integral, särskilt i de fall funktionen är icke-monoton. Det kan antas att noggrannheten i beräkningarna kommer att öka om vi istället för att raka segment ersätter kurvlinjära fragment av grafen för funktionen f(x) använder till exempel fragment av paraboler som ges genom tre intilliggande punkter i grafen. Denna geometriska tolkning ligger till grund för Simpsons metod för att beräkna den bestämda integralen. Hela integrationsintervallet a,b är uppdelat i N segment, längden på segmentet blir också lika med h=(b-a)/N.

Simpsons formel ser ut så här:

återstående termin

När längden på segmenten ökar, minskar noggrannheten i formeln, så för att öka noggrannheten används Simpsons sammansatta formel. Hela integrationsintervallet är uppdelat i ett jämnt antal identiska segment N, segmentets längd blir också lika med h=(b-a)/N. Simpsons sammansatta formel är:

I formeln representerar uttrycken inom parentes summan av värdena för integranden i ändarna av de udda respektive jämna interna segmenten.

Resten av Simpsons formel är proportionell mot den fjärde potensen av steget:

Exempel: Använd Simpsons regel, beräkna integralen. (Exakt lösning - 0,2)

Gauss metod

Gaussisk kvadraturformel. Grundprincipen för kvadraturformler av den andra typen är synlig från figur 1.12: det är nödvändigt att placera punkterna på detta sätt X 0 och X 1 inuti segmentet [ a;b], så att den totala arean av "trianglarna" är lika med arean av "segmentet". När du använder Gauss formel, det ursprungliga segmentet [ a;b] reduceras till segmentet [-1;1] genom att ersätta variabeln X på

0.5∙(b– a)∙t+ 0.5∙(b + a).

Sedan , Var .

En sådan ersättning är möjlig om a Och bär ändliga och funktionen f(x) är kontinuerlig på [ a;b]. Gauss formel kl n poäng x i, i=0,1,..,n-1 inuti segmentet [ a;b]:

, (1.27)

Var t i Och A i för olika n finns i referensböcker. Till exempel när n=2 A 0 =A 1 = 1; på n=3: t 0 =t 2 "0,775, t 1 =0, A 0 =A 2 "0,555, A 1 "0,889.

Gaussisk kvadraturformel

erhålls med en viktfunktion lika med enhet p(x)= 1 och noder x i, som är rötterna till Legendre-polynomen

Odds A i lätt att beräkna med formler

i=0,1,2,...n.

Värdena på noder och koefficienter för n=2,3,4,5 anges i tabellen

Beställa	Knutpunkter	Odds
n=2	x 1=0 x 0 =-x 2=0.7745966692	A 1=8/9 A 0 = A 2=5/9
n=3	x 2 =-x 1=0.3399810436 x 3 =-x 0=0.8611363116	A 1 = A 2=0.6521451549 A 0 = A 3=0.6521451549
n=4	x 2 = 0 x 3 = -x 1 = 0.5384693101 x 4 =-x 0 =0.9061798459	A 0 =0.568888899 A 3 =A 1 =0.4786286705 A 0 =A 4 =0.2869268851
n=5	x 5 = -x 0 =0.9324695142 x 4 = -x 1 =0.6612093865 x 3 = -x 2 =0.2386191861	A 5 =A 0 =0.1713244924 A 4 =A 1 =0.3607615730 A 3 =A 2 =0.4679139346

Exempel. Beräkna värdet med Gauss formel för n=2:

Exakt värde: .

Algoritmen för att beräkna integralen med hjälp av Gauss-formeln innebär inte att dubbla antalet mikrosegment, utan att öka antalet ordinater med 1 och jämföra de erhållna värdena för integralen. Fördelen med Gauss-formeln är dess höga noggrannhet med ett relativt litet antal ordinater. Nackdelar: obekvämt för manuella beräkningar; det är nödvändigt att lagra värdena i datorns minne t i, A i för olika n.

Felet för den Gaussiska kvadraturformeln på segmentet kommer att vara. För resten kommer termformeln att vara och koefficienten α N minskar snabbt med tillväxten N. Här

Gaussiska formler ger hög noggrannhet även med ett litet antal noder (från 4 till 10). I det här fallet, i praktiska beräkningar, varierar antalet noder från flera hundra till flera tusen. Observera också att vikterna av Gaussiska kvadraturer alltid är positiva, vilket säkerställer stabiliteten hos algoritmen för att beräkna summorna

Metoden för minsta kvadrater (OLS) låter dig uppskatta olika kvantiteter med hjälp av resultaten av många mätningar som innehåller slumpmässiga fel.

Kännetecken för multinationella företag

Huvudidén med denna metod är att summan av kvadratiska fel betraktas som ett kriterium för noggrannheten för att lösa problemet, som de strävar efter att minimera. När man använder denna metod kan både numeriska och analytiska metoder användas.

I synnerhet, som en numerisk implementering, innebär minsta kvadratmetoden att man tar så många mätningar som möjligt av en okänd slumpvariabel. Dessutom, ju fler beräkningar, desto mer exakt blir lösningen. Baserat på denna uppsättning beräkningar (initialdata) erhålls ytterligare en uppsättning uppskattade lösningar, från vilka den bästa sedan väljs ut. Om uppsättningen lösningar parametriseras, kommer minsta kvadratmetoden att reduceras till att hitta det optimala värdet på parametrarna.

Som ett analytiskt tillvägagångssätt för implementering av LSM på en uppsättning initiala data (mätningar) och en förväntad uppsättning lösningar, bestäms en viss (funktionell), som kan uttryckas av en formel erhållen som en viss hypotes som kräver bekräftelse. I det här fallet kommer minsta kvadratmetoden till att hitta minimum av denna funktion på uppsättningen kvadratfel i originaldata.

Observera att det inte är själva felen, utan kvadraterna på felen. Varför? Faktum är att ofta avvikelser av mätningar från det exakta värdet är både positiva och negativa. När man bestämmer genomsnittet kan enkel summering leda till en felaktig slutsats om kvaliteten på uppskattningen, eftersom annulleringen av positiva och negativa värden kommer att minska kraften i att sampla flera mätningar. Och följaktligen bedömningens riktighet.

För att förhindra att detta inträffar summeras de kvadratiska avvikelserna. Dessutom, för att utjämna dimensionen av det uppmätta värdet och den slutliga uppskattningen, extraheras summan av kvadratfelen

Vissa MNC-applikationer

MNC används ofta inom olika områden. Till exempel, i sannolikhetsteori och matematisk statistik, används metoden för att bestämma en sådan egenskap hos en slumpvariabel som standardavvikelsen, som bestämmer bredden på värdeintervallet för den slumpmässiga variabeln.

Approximation av experimentella data är en metod som bygger på att ersätta experimentellt erhållen data med en analytisk funktion som närmast passerar eller sammanfaller på nodpunkter med de ursprungliga värdena (data som erhållits under ett experiment eller experiment). För närvarande finns det två sätt att definiera en analytisk funktion:

Genom att konstruera ett n-graders interpolationspolynom som passerar direkt genom alla punkter en given datamatris. I detta fall presenteras approximationsfunktionen i form av: ett interpolationspolynom i lagrangeform eller ett interpolationspolynom i newtonform.

Genom att konstruera ett n-graders approximerande polynom som passerar i omedelbar närhet av punkter från en given datamatris. Således jämnar den approximerande funktionen ut allt slumpmässigt brus (eller fel) som kan uppstå under experimentet: de uppmätta värdena under experimentet beror på slumpmässiga faktorer som fluktuerar enligt deras egna slumpmässiga lagar (mät- eller instrumentfel, felaktigheter eller experimentella fel). I detta fall bestäms approximationsfunktionen med minsta kvadratmetoden.

Minsta kvadratiska metod(i den engelska litteraturen Ordinary Least Squares, OLS) är en matematisk metod som bygger på att bestämma en approximerande funktion som är konstruerad i närmaste närhet till punkter från en given uppsättning experimentella data. Närheten för de ursprungliga och approximerande funktionerna F(x) bestäms av ett numeriskt mått, nämligen: summan av kvadratiska avvikelser av experimentella data från approximationskurvan F(x) bör vara den minsta.

Ungefärlig kurva konstruerad med minsta kvadratmetoden

Minsta kvadratmetoden används:

Att lösa överbestämda ekvationssystem när antalet ekvationer överstiger antalet okända;

Att hitta en lösning i fallet med vanliga (ej överbestämda) olinjära ekvationssystem;

Att approximera punktvärden med någon approximerande funktion.

Approximationsfunktionen med användning av minsta kvadratmetoden bestäms från villkoret för den minsta summan av kvadrerade avvikelser för den beräknade approximationsfunktionen från en given uppsättning experimentella data. Detta kriterium för minsta kvadratmetoden skrivs som följande uttryck:

Värdena för den beräknade approximationsfunktionen vid nodpunkterna,

En given uppsättning experimentella data vid nodpunkter.

Det kvadratiska kriteriet har ett antal "bra" egenskaper, såsom differentiabilitet, vilket ger en unik lösning på approximationsproblemet med polynom approximerande funktioner.

Beroende på problemets villkor är den approximerande funktionen ett polynom av grad m

Graden av den approximerande funktionen beror inte på antalet nodpunkter, men dess dimension måste alltid vara mindre än dimensionen (antal punkter) för en given experimentell datamatris.

∙ Om graden av approximationsfunktionen är m=1, så approximerar vi tabellfunktionen med en rät linje (linjär regression).

∙ Om graden av approximationsfunktionen är m=2, så approximerar vi tabellfunktionen med en andragradsparabel (kvadratisk approximation).

∙ Om graden av approximationsfunktionen är m=3, så approximerar vi tabellfunktionen med en kubisk parabel (kubisk approximation).

I det allmänna fallet, när det är nödvändigt att konstruera ett approximativt polynom av grad m för givna tabellvärden, skrivs villkoret för minimum av summan av kvadratavvikelser över alla nodpunkter om i följande form:

- okända koefficienter för det approximerande polynomet av grad m;

Antalet angivna tabellvärden.

Ett nödvändigt villkor för existensen av ett minimum av en funktion är lika med noll av dess partiella derivator med avseende på okända variabler . Som ett resultat får vi följande ekvationssystem:

Låt oss omvandla det resulterande linjära ekvationssystemet: öppna parenteserna och flytta de fria termerna till höger sida av uttrycket. Som ett resultat kommer det resulterande systemet med linjära algebraiska uttryck att skrivas i följande form:

Detta system av linjära algebraiska uttryck kan skrivas om i matrisform:

Som ett resultat erhölls ett system av linjära ekvationer med dimensionen m+1, som består av m+1 okända. Detta system kan lösas med vilken metod som helst för att lösa linjära algebraiska ekvationer (till exempel Gaussmetoden). Som ett resultat av lösningen kommer okända parametrar för den approximerande funktionen att hittas som ger den minsta summan av kvadratiska avvikelser för den approximerande funktionen från originaldata, d.v.s. bästa möjliga kvadratiska approximation. Man bör komma ihåg att om ens ett värde av källdata ändras, kommer alla koefficienter att ändra sina värden, eftersom de helt bestäms av källdata.

Approximation av källdata genom linjärt beroende

(linjär regression)

Som ett exempel, låt oss överväga tekniken för att bestämma den approximerande funktionen, som specificeras i form av ett linjärt beroende. I enlighet med minsta kvadratmetoden skrivs villkoret för minimum av summan av kvadratavvikelser i följande form:

Koordinater för tabellnoder;

Okända koefficienter för den approximerande funktionen, som anges som ett linjärt beroende.

Ett nödvändigt villkor för existensen av ett minimum av en funktion är lika med noll av dess partiella derivator med avseende på okända variabler. Som ett resultat får vi följande ekvationssystem:

Låt oss transformera det resulterande linjära ekvationssystemet.

Vi löser det resulterande systemet med linjära ekvationer. Koefficienterna för den approximerande funktionen i analytisk form bestäms enligt följande (Cramers metod):

Dessa koefficienter säkerställer konstruktionen av en linjär approximerande funktion i enlighet med kriteriet att minimera summan av kvadraterna av approximationsfunktionen från de givna tabellvärdena (experimentella data).

Algoritm för att implementera minsta kvadratmetoden

1. Inledande data:

En uppsättning experimentella data med antalet mätningar N specificeras

Graden av det approximerande polynomet (m) anges

2. Beräkningsalgoritm:

2.1. Koefficienterna bestäms för att konstruera ett ekvationssystem med dimensioner

Ekvationssystemets koefficienter (vänster sida av ekvationen)

- index för kolumnnumret för kvadratmatrisen i ekvationssystemet

Fria termer för ett system av linjära ekvationer (höger sida av ekvationen)

- index för radnumret för kvadratmatrisen i ekvationssystemet

2.2. Bildning av ett system av linjära ekvationer med dimension .

2.3. Lösa ett system av linjära ekvationer för att bestämma de okända koefficienterna för ett approximativt polynom med grad m.

2.4. Bestämning av summan av kvadrerade avvikelser för det approximerande polynomet från de ursprungliga värdena vid alla nodpunkter

Det funna värdet av summan av kvadrerade avvikelser är det minsta möjliga.

Approximation med hjälp av andra funktioner

Det bör noteras att när man approximerar originaldata i enlighet med minsta kvadratmetoden, används ibland den logaritmiska funktionen, exponentialfunktionen och potensfunktionen som approximationsfunktion.

Logaritmisk approximation

Låt oss överväga fallet när den approximerande funktionen ges av en logaritmisk funktion av formen:

Minsta kvadratiska metod

Minsta kvadratmetod ( OLS, OLS, Vanliga minsta kvadrater) - en av de grundläggande metoderna för regressionsanalys för att uppskatta okända parametrar för regressionsmodeller med hjälp av provdata. Metoden bygger på att minimera summan av kvadrater av regressionsresidualer.

Det bör noteras att metoden med minsta kvadrater i sig kan kallas en metod för att lösa ett problem inom vilket område som helst om lösningen ligger i eller uppfyller något kriterium för att minimera kvadratsumman av vissa funktioner av de nödvändiga variablerna. Därför kan minsta kvadratmetoden också användas för en ungefärlig representation (approximation) av en given funktion med andra (enklare) funktioner, när man hittar en uppsättning kvantiteter som uppfyller ekvationer eller begränsningar, vars antal överstiger antalet av dessa storheter , etc.

Kärnan i MNC

Låt någon (parametrisk) modell av ett probabilistiskt (regression) förhållande mellan den (förklarade) variabeln ges y och många faktorer (förklarande variabler) x

var är vektorn för okända modellparametrar

- slumpmässigt modellfel.

Låt det också finnas provobservationer av värdena för dessa variabler. Låt vara observationsnumret (). Sedan är värdena för variablerna i den e observationen. Sedan, för givna värden av parametrar b, är det möjligt att beräkna de teoretiska (modell) värdena för den förklarade variabeln y:

Storleken på resterna beror på parametrarnas värden b.

Kärnan i minsta kvadratmetoden (vanlig, klassisk) är att hitta parametrar b för vilka summan av kvadraterna av residualerna (eng. Restsumma av kvadrater) kommer att vara minimal:

I det allmänna fallet kan detta problem lösas med numeriska optimeringsmetoder (minimering). I det här fallet talar de om olinjära minsta kvadrater(NLS eller NLLS - engelska) Icke-linjära minsta kvadrater). I många fall är det möjligt att få en analytisk lösning. För att lösa minimeringsproblemet är det nödvändigt att hitta stationära punkter för funktionen genom att differentiera den med avseende på de okända parametrarna b, likställa derivatorna till noll och lösa det resulterande ekvationssystemet:

Om modellens slumpmässiga fel är normalfördelade, har samma varians och okorrelerade, är OLS-parameteruppskattningar desamma som maximala sannolikhetsuppskattningar (MLM).

OLS när det gäller en linjär modell

Låt regressionsberoendet vara linjärt:

Låta yär en kolumnvektor av observationer av den förklarade variabeln och är en matris av faktorobservationer (raderna i matrisen är vektorerna av faktorvärden i en given observation, kolumnerna är vektorn av värden för en given faktor i alla observationer). Matrisrepresentationen av den linjära modellen är:

Då kommer uppskattningsvektorn för den förklarade variabeln och vektorn för regressionsresterna att vara lika

Följaktligen kommer summan av kvadraterna av regressionsresterna att vara lika med

Genom att differentiera denna funktion med avseende på parametrarnas vektor och likställa derivatorna till noll, får vi ett ekvationssystem (i matrisform):

Lösningen av detta ekvationssystem ger den allmänna formeln för minsta kvadraters uppskattningar för en linjär modell:

För analytiska ändamål är den senare representationen av denna formel användbar. Om i en regressionsmodell data centrerad, då i denna representation har den första matrisen betydelsen av en samvariationsmatris av faktorer, och den andra är en vektor av kovarianser av faktorer med den beroende variabeln. Om dessutom uppgifterna också är normaliserats till MSE (det vill säga i slutändan standardiserad), så har den första matrisen betydelsen av en provkorrelationsmatris av faktorer, den andra vektorn - en vektor av provkorrelationer av faktorer med den beroende variabeln.

En viktig egenskap hos OLS-uppskattningar för modeller med konstant- linjen för den konstruerade regressionen passerar genom provdatas tyngdpunkt, det vill säga att likheten är uppfylld:

I synnerhet, i extremfallet, när den enda regressorn är en konstant, finner vi att OLS-uppskattningen av den enda parametern (konstanten i sig) är lika med medelvärdet för den förklarade variabeln. Det vill säga, det aritmetiska medelvärdet, känt för sina goda egenskaper från lagarna för stora tal, är också en minsta kvadratuppskattning - det uppfyller kriteriet för den minsta summan av kvadrerade avvikelser från det.

Exempel: enklaste (parvis) regression

I fallet med parad linjär regression förenklas beräkningsformlerna (du kan klara dig utan matrisalgebra):

Egenskaper för OLS-uppskattare

Först och främst noterar vi att för linjära modeller är OLS-uppskattningar linjära uppskattningar, enligt ovanstående formel. För opartiska OLS-uppskattningar är det nödvändigt och tillräckligt för att uppfylla det viktigaste villkoret för regressionsanalys: den matematiska förväntningen på ett slumpmässigt fel, beroende på faktorerna, måste vara lika med noll. Detta villkor är särskilt uppfyllt om

den matematiska förväntan på slumpmässiga fel är noll, och
faktorer och slumpmässiga fel är oberoende slumpvariabler.

Det andra villkoret - villkoret för exogenitet av faktorer - är grundläggande. Om den här egenskapen inte uppfylls kan vi anta att nästan alla uppskattningar kommer att vara extremt otillfredsställande: de kommer inte ens att vara konsekventa (det vill säga inte ens en mycket stor mängd data tillåter oss att få högkvalitativa uppskattningar i detta fall ). I det klassiska fallet görs ett starkare antagande om faktorernas determinism, till skillnad från ett slumpmässigt fel, vilket automatiskt innebär att exogenitetsvillkoret är uppfyllt. I det allmänna fallet, för konsekvensen av uppskattningarna, är det tillräckligt att uppfylla exogenitetsvillkoret tillsammans med konvergensen av matrisen till någon icke-singular matris när urvalsstorleken ökar till oändlighet.

För att, förutom konsekvens och opartiskhet, även uppskattningar av (vanliga) minsta kvadrater ska vara effektiva (bäst i klassen av linjära opartiska skattningar), måste ytterligare egenskaper för slumpmässiga fel uppfyllas:

Dessa antaganden kan formuleras för kovariansmatrisen för slumpfelsvektorn

En linjär modell som uppfyller dessa villkor kallas klassisk. OLS-uppskattningar för klassisk linjär regression är opartiska, konsekventa och de mest effektiva uppskattningarna i klassen av alla linjära opartiska uppskattningar (i den engelska litteraturen används ibland förkortningen BLÅ (Bästa linjära unbased estimator) - den bästa linjära opartiska skattningen; i rysk litteratur citeras Gauss-Markovs sats oftare). Som det är lätt att visa kommer kovariansmatrisen för vektorn för koefficientuppskattningar att vara lika med:

Generaliserad OLS

Minsta kvadratmetoden möjliggör bred generalisering. Istället för att minimera summan av kvadraterna av residualerna, kan man minimera någon positiv bestämd kvadratisk form av vektorn av residualer, där är någon symmetrisk positiv bestämd viktmatris. Konventionella minsta kvadrater är ett specialfall av detta tillvägagångssätt, där viktmatrisen är proportionell mot identitetsmatrisen. Som är känt från teorin om symmetriska matriser (eller operatorer), för sådana matriser sker en nedbrytning. Följaktligen kan den specificerade funktionalen representeras enligt följande, det vill säga denna funktion kan representeras som summan av kvadraterna av några transformerade "rester". Således kan vi urskilja en klass av minsta kvadratmetoder - LS-metoder (Minsta kvadrater).

Det har bevisats (Aitkens teorem) att för en generaliserad linjär regressionsmodell (där inga restriktioner är införda på kovariansmatrisen av slumpmässiga fel), är de mest effektiva (i klassen linjära opartiska skattningar) de så kallade uppskattningarna. generaliserade minsta kvadrater (GLS – Generaliserade minsta kvadrater)- LS-metod med en viktmatris lika med den inversa kovariansmatrisen för slumpmässiga fel: .

Det kan visas att formeln för GLS-uppskattningar av parametrarna för en linjär modell har formen

Kovariansmatrisen för dessa uppskattningar kommer följaktligen att vara lika med

Faktum är att kärnan i OLS ligger i en viss (linjär) transformation (P) av originaldata och tillämpningen av vanlig OLS på de transformerade data. Syftet med denna transformation är att för de transformerade data, de slumpmässiga felen redan uppfyller de klassiska antagandena.

Viktad OLS

När det gäller en diagonal viktmatris (och därför en kovariansmatris av slumpmässiga fel) har vi de så kallade viktade minsta kvadraterna (WLS). I detta fall minimeras den viktade kvadratsumman av modellresidualerna, det vill säga varje observation får en "vikt" som är omvänt proportionell mot variansen av det slumpmässiga felet i denna observation: . Faktum är att data transformeras genom viktning av observationerna (dividering med ett belopp som är proportionellt mot den uppskattade standardavvikelsen för de slumpmässiga felen), och vanlig OLS tillämpas på den viktade datan.

Några speciella fall av att använda MNC i praktiken

Approximation av linjärt beroende

Låt oss överväga fallet när, som ett resultat av att studera beroendet av en viss skalär kvantitet av en viss skalär kvantitet (Detta kan till exempel vara spänningens beroende av strömstyrkan: , där är ett konstant värde, resistansen av ledaren), mätningar av dessa kvantiteter utfördes, vilket resulterade i värdena och deras motsvarande värden. Mätdata ska registreras i en tabell.

Tabell. Mätresultat.

Mått nr.
1
2
3
4
5
6

Frågan är: vilket värde på koefficienten kan väljas för att bäst beskriva beroendet? Enligt minsta kvadratmetoden bör detta värde vara sådant att summan av de kvadrerade avvikelserna för värdena från värdena

var minimal

Summan av kvadrerade avvikelser har ett extremum - ett minimum, vilket gör att vi kan använda denna formel. Låt oss ta reda på värdet av koefficienten från denna formel. För att göra detta omvandlar vi dess vänstra sida enligt följande:

Den sista formeln låter oss hitta värdet på koefficienten, vilket är vad som krävdes i problemet.

Berättelse

Fram till början av 1800-talet. vetenskapsmän hade inte vissa regler för att lösa ett ekvationssystem där antalet okända är mindre än antalet ekvationer; Fram till den tiden användes privata tekniker som berodde på typen av ekvationer och på räknarnas kvickhet, och därför kom olika räknare, baserade på samma observationsdata, till olika slutsatser. Gauss (1795) var den första som använde metoden, och Legendre (1805) upptäckte och publicerade den självständigt under sitt moderna namn (franska. Méthode des moindres quarrés ) . Laplace relaterade metoden till sannolikhetsteori, och den amerikanske matematikern Adrain (1808) övervägde dess sannolikhetsteoretiska tillämpningar. Metoden fick stor spridning och förbättrades genom ytterligare forskning av Encke, Bessel, Hansen och andra.

Alternativ användning av OLS

Idén med minsta kvadratmetoden kan också användas i andra fall som inte är direkt relaterade till regressionsanalys. Faktum är att summan av kvadrater är ett av de vanligaste närhetsmåtten för vektorer (euklidisk metrik i finita dimensionella rum).

En tillämpning är "lösningen" av system av linjära ekvationer där antalet ekvationer är större än antalet variabler

där matrisen inte är kvadratisk, utan rektangulär.

Ett sådant ekvationssystem har i det allmänna fallet ingen lösning (om rangordningen faktiskt är större än antalet variabler). Därför kan detta system endast "lösas" i den meningen att man väljer en sådan vektor för att minimera "avståndet" mellan vektorerna och . För att göra detta kan du tillämpa kriteriet att minimera summan av kvadrater av skillnaderna mellan vänster och höger sida av systemekvationerna, det vill säga. Det är lätt att visa att att lösa detta minimeringsproblem leder till att lösa följande ekvationssystem