Esența metodei celor mai mici pătrate este: Unde se folosește metoda celor mai mici pătrate? Exemple de rezolvare a problemelor folosind metoda celor mai mici pătrate

Are multe aplicații, deoarece permite o reprezentare aproximativă a unei anumite funcții de către altele mai simple. LSM poate fi extrem de util în procesarea observațiilor și este utilizat în mod activ pentru a estima unele cantități pe baza rezultatelor măsurătorilor altora care conțin erori aleatoare. În acest articol, veți învăța cum să implementați calculele celor mai mici pătrate în Excel.

Enunțarea problemei folosind un exemplu specific

Să presupunem că există doi indicatori X și Y. Mai mult, Y depinde de X. Deoarece OLS ne interesează din punct de vedere al analizei de regresie (în Excel metodele sale sunt implementate folosind funcții încorporate), ar trebui să trecem imediat la luarea în considerare a unui problemă specifică.

Deci, să fie X spațiul de vânzare cu amănuntul al unui magazin alimentar, măsurat în metri pătrați, și Y să fie cifra de afaceri anuală, măsurată în milioane de ruble.

Este necesar să se facă o prognoză a cifrei de afaceri (Y) va avea magazinul dacă are cutare sau cutare spațiu comercial. Evident, funcția Y = f (X) este în creștere, deoarece hipermarketul vinde mai multe mărfuri decât taraba.

Câteva cuvinte despre corectitudinea datelor inițiale utilizate pentru predicție

Să presupunem că avem un tabel construit folosind date pentru n magazine.

Conform statisticilor matematice, rezultatele vor fi mai mult sau mai puțin corecte dacă se examinează datele pe cel puțin 5-6 obiecte. În plus, rezultatele „anomale” nu pot fi utilizate. În special, un mic butic de elită poate avea o cifră de afaceri de câteva ori mai mare decât cifra de afaceri a magazinelor mari de vânzare cu amănuntul din clasa „masmarket”.

Esența metodei

Datele din tabel pot fi reprezentate pe un plan cartezian sub forma punctelor M 1 (x 1, y 1), ... M n (x n, y n). Acum soluția problemei se va reduce la selectarea unei funcții de aproximare y = f (x), care are un grafic care trece cât mai aproape de punctele M 1, M 2, .. M n.

Desigur, puteți utiliza un polinom de grad înalt, dar această opțiune nu este doar dificil de implementat, ci și pur și simplu incorectă, deoarece nu va reflecta tendința principală care trebuie detectată. Soluția cea mai rezonabilă este căutarea dreptei y = ax + b, care aproximează cel mai bine datele experimentale, sau mai precis, coeficienții a și b.

Evaluarea acurateței

Cu orice aproximare, evaluarea acurateței sale este de o importanță deosebită. Să notăm cu e i diferența (abaterea) dintre valorile funcționale și experimentale pentru punctul x i, adică e i = y i - f (x i).

Evident, pentru a evalua acuratețea aproximării, puteți utiliza suma abaterilor, adică atunci când alegeți o linie dreaptă pentru o reprezentare aproximativă a dependenței lui X de Y, ar trebui să acordați prioritate celei cu cea mai mică valoare a sum e i la toate punctele luate în considerare. Cu toate acestea, nu totul este atât de simplu, deoarece împreună cu abaterile pozitive vor exista și unele negative.

Problema poate fi rezolvată folosind module de abatere sau pătratele acestora. Ultima metodă este cea mai utilizată. Este folosit în multe domenii, inclusiv în analiza de regresie (implementată în Excel folosind două funcții încorporate) și și-a dovedit de mult eficacitatea.

Metoda celor mai mici pătrate

După cum știți, Excel are o funcție încorporată AutoSum care vă permite să calculați valorile tuturor valorilor situate în intervalul selectat. Astfel, nimic nu ne va împiedica să calculăm valoarea expresiei (e 1 2 + e 2 2 + e 3 2 + ... e n 2).

În notație matematică, aceasta arată astfel:

Deoarece a fost luată inițial decizia de a aproxima folosind o linie dreaptă, avem:

Astfel, sarcina de a găsi linia dreaptă care descrie cel mai bine dependența specifică a mărimilor X și Y se rezumă la calcularea minimului unei funcții a două variabile:

Pentru a face acest lucru, trebuie să echivalați derivatele parțiale față de noile variabile a și b la zero și să rezolvați un sistem primitiv format din două ecuații cu 2 necunoscute de forma:

După câteva transformări simple, inclusiv împărțirea cu 2 și manipularea sumelor, obținem:

Rezolvând-o, de exemplu, folosind metoda lui Cramer, obținem un punct staționar cu anumiți coeficienți a * și b *. Acesta este minimul, adică pentru a prezice ce cifră de afaceri va avea un magazin pentru o anumită zonă, este potrivită linia dreaptă y = a * x + b *, care este un model de regresie pentru exemplul în cauză. Desigur, nu vă va permite să găsiți rezultatul exact, dar vă va ajuta să vă faceți o idee dacă achiziționarea unei anumite zone din creditul magazinului va fi rentabilă.

Cum se implementează cele mai mici pătrate în Excel

Excel are o funcție pentru calcularea valorilor folosind cele mai mici pătrate. Are următoarea formă: „TENDINȚA” (valori Y cunoscute; valori X cunoscute; valori X noi; constantă). Să aplicăm formula de calcul OLS în Excel la tabelul nostru.

Pentru a face acest lucru, introduceți semnul „=” în celula în care ar trebui să fie afișat rezultatul calculului folosind metoda celor mai mici pătrate în Excel și selectați funcția „TENDINȚA”. În fereastra care se deschide, completați câmpurile corespunzătoare, evidențiind:

intervalul de valori cunoscute pentru Y (în acest caz, date pentru cifra de afaceri comercială);
interval x 1 , …x n , adică dimensiunea spațiului comercial cu amănuntul;
atât valorile cunoscute, cât și cele necunoscute ale lui x, pentru care trebuie să aflați dimensiunea cifrei de afaceri (pentru informații despre locația lor pe foaia de lucru, consultați mai jos).

În plus, formula conține variabila logică „Const”. Dacă introduceți 1 în câmpul corespunzător, aceasta va însemna că trebuie să efectuați calculele, presupunând că b = 0.

Dacă trebuie să aflați prognoza pentru mai mult de o valoare x, atunci după introducerea formulei nu trebuie să apăsați „Enter”, ci trebuie să introduceți combinația „Shift” + „Control” + „Enter” pe tastatură.

Unele caracteristici

Analiza de regresie poate fi accesibilă chiar și pentru manechin. Formula Excel pentru prezicerea valorii unei matrice de variabile necunoscute — TREND — poate fi folosită chiar și de cei care nu au auzit niciodată de cele mai mici pătrate. Este suficient doar să cunoașteți câteva dintre caracteristicile muncii sale. În special:

Dacă aranjați intervalul de valori cunoscute ale variabilei y într-un rând sau coloană, atunci fiecare rând (coloană) cu valori cunoscute ale lui x va fi perceput de program ca o variabilă separată.
Dacă un interval cu x cunoscut nu este specificat în fereastra TREND, atunci când utilizați funcția în Excel, programul o va trata ca o matrice formată din numere întregi, al căror număr corespunde intervalului cu valorile date ale variabila y.
Pentru a scoate o matrice de valori „prevăzute”, expresia pentru calcularea tendinței trebuie introdusă ca formulă matrice.
Dacă nu sunt specificate valori noi ale lui x, atunci funcția TREND le consideră egale cu cele cunoscute. Dacă nu sunt specificate, atunci tabloul 1 este luat ca argument; 2; 3; 4;…, care este proporțional cu intervalul cu parametrii deja specificați y.
Intervalul care conține noile valori x trebuie să aibă aceleași sau mai multe rânduri sau coloane ca și intervalul care conține valorile y date. Cu alte cuvinte, trebuie să fie proporțional cu variabilele independente.
O matrice cu valori x cunoscute poate conține mai multe variabile. Cu toate acestea, dacă vorbim despre unul singur, atunci este necesar ca intervalele cu valorile date ale lui x și y să fie proporționale. În cazul mai multor variabile, este necesar ca intervalul cu valorile y date să se încadreze într-o coloană sau un rând.

Funcția PREDICTION

Implementat folosind mai multe funcții. Una dintre ele se numește „PREDICȚIE”. Este similar cu „TENDINȚA”, adică oferă rezultatul calculelor folosind metoda celor mai mici pătrate. Cu toate acestea, doar pentru un X, pentru care valoarea lui Y este necunoscută.

Acum știți formule în Excel pentru manechine care vă permit să preziceți valoarea viitoare a unui anumit indicator în conformitate cu o tendință liniară.

Sarcina este de a găsi coeficienții de dependență liniară la care funcția a două variabile AȘi b ia cea mai mică valoare. Adică dat AȘi b suma abaterilor pătrate a datelor experimentale de la linia dreaptă găsită va fi cea mai mică. Acesta este punctul întreg al metodei celor mai mici pătrate.

Astfel, rezolvarea exemplului se reduce la găsirea extremului unei funcții a două variabile.

Derivarea formulelor pentru găsirea coeficienților. Se compilează și se rezolvă un sistem de două ecuații cu două necunoscute. Găsirea derivatelor parțiale ale unei funcții prin variabile AȘi b, echivalăm aceste derivate cu zero.

Rezolvăm sistemul de ecuații rezultat folosind orice metodă (de exemplu, metoda substituției sau metoda Cramer) și obținem formule pentru găsirea coeficienților folosind metoda celor mai mici pătrate (LSM).

Dat AȘi b funcţie ia cea mai mică valoare.

Aceasta este întreaga metodă a celor mai mici pătrate. Formula pentru găsirea parametrului A conține sumele , , și parametrul n- cantitatea de date experimentale. Vă recomandăm să calculați separat valorile acestor sume. Coeficient b găsit după calcul A.

Domeniul principal de aplicare a unor astfel de polinoame este prelucrarea datelor experimentale (construcția de formule empirice). Faptul este că un polinom de interpolare construit din valorile funcției obținute prin experiment va fi puternic influențat de „zgomotul experimental”; în plus, la interpolare, nodurile de interpolare nu pot fi repetate, adică. Rezultatele experimentelor repetate în aceleași condiții nu pot fi utilizate. Polinomul pătrat mediu netezește zgomotul și vă permite să utilizați rezultatele mai multor experimente.

Integrare și diferențiere numerică. Exemplu.

Integrare numerică– calculul valorii unei integrale definite (de obicei aproximative). Integrarea numerică este înțeleasă ca un set de metode numerice pentru găsirea valorii unei anumite integrale.

Diferențierea numerică– un set de metode pentru calcularea valorii derivatei unei funcții specificate discret.

Integrare

Formularea problemei. Formularea matematică a problemei: este necesar să se găsească valoarea unei integrale definite

unde a, b sunt finite, f(x) este continuă pe [a, b].

La rezolvarea problemelor practice, se întâmplă adesea ca integrala să fie incomod sau imposibil de luat analitic: poate să nu fie exprimată în funcții elementare, integrandul poate fi dat sub formă de tabel etc. În astfel de cazuri, metodele de integrare numerică sunt folosit. Metodele de integrare numerică folosesc înlocuirea ariei unui trapez curbat cu o sumă finită a ariilor unor figuri geometrice mai simple care pot fi calculate exact. În acest sens, ei vorbesc despre utilizarea formulelor de cuadratura.

Majoritatea metodelor folosesc o reprezentare a integralei ca o sumă finită (formulă în pătrare):

Formulele de cuadratura se bazează pe ideea de a înlocui graficul integrandului pe segmentul de integrare cu funcții de formă mai simplă, care pot fi ușor integrate analitic și, astfel, ușor de calculat. Sarcina de a construi formule în cuadratura este implementată cel mai simplu pentru modelele matematice polinomiale.

Se pot distinge trei grupe de metode:

1. Metodă cu împărțirea segmentului de integrare în intervale egale. Împărțirea în intervale se face în prealabil; de obicei intervalele sunt alese egale (pentru a facilita calcularea funcției la sfârșitul intervalelor). Calculați suprafețele și însumați-le (dreptunghi, trapez, metode Simpson).

2. Metode cu partiţionarea segmentului de integrare folosind puncte speciale (metoda Gauss).

3. Calculul integralelor folosind numere aleatoare (metoda Monte Carlo).

Metoda dreptunghiului. Fie ca funcția (figura) să fie integrată numeric pe segment. Împărțiți segmentul în N intervale egale. Aria fiecăruia dintre N trapezele curbate poate fi înlocuită cu aria unui dreptunghi.

Lățimea tuturor dreptunghiurilor este aceeași și egală cu:

Pentru a selecta înălțimea dreptunghiurilor, puteți selecta valoarea funcției de pe marginea din stânga. În acest caz, înălțimea primului dreptunghi va fi f(a), al doilea - f(x 1),..., N-f(N-1).

Dacă luăm valoarea funcției de pe marginea dreaptă pentru a selecta înălțimea dreptunghiului, atunci în acest caz înălțimea primului dreptunghi va fi f(x 1), al doilea - f(x 2), ... , N - f(x N).

După cum puteți vedea, în acest caz, una dintre formule oferă o aproximare a integralei cu un exces, iar a doua cu o deficiență. Există o altă modalitate - de a utiliza valoarea funcției din mijlocul segmentului de integrare pentru aproximare:

Estimarea erorii absolute a metodei dreptunghiului (la mijloc)

Estimarea erorii absolute a metodelor dreptunghiului stâng și drept.

Exemplu. Calculați pentru întregul interval și împărțiți intervalul în patru secțiuni

Soluţie. Calculul analitic al acestei integrale dă I=arctg(1)–arctg(0)=0,7853981634. În cazul nostru:

1)h = 1; xo = 0; x1 = 1;

2) h = 0,25 (1/4); x0 = 0; x1 = 0,25; x2 = 0,5; x3 = 0,75; x4 = 1;

Să calculăm folosind metoda dreptunghiului din stânga:

Să calculăm folosind metoda dreptunghiului drept:

Să calculăm folosind metoda dreptunghiului mediu:

Metoda trapezoidală. Folosind un polinom de gradul I (o linie dreaptă trasată prin două puncte) pentru a interpola rezultă formula trapezoidală. Capetele segmentului de integrare sunt luate ca noduri de interpolare. Astfel, trapezul curbiliniu este înlocuit cu un trapez obișnuit, a cărui zonă poate fi găsită ca produsul dintre jumătate din suma bazelor și înălțimea

În cazul a N segmente de integrare pentru toate nodurile, cu excepția punctelor extreme ale segmentului, valoarea funcției va fi inclusă în suma totală de două ori (deoarece trapezele adiacente au o latură comună)

Formula trapezoidală poate fi obținută luând jumătate din suma formulelor dreptunghiurilor de-a lungul marginilor din dreapta și din stânga segmentului:

Verificarea stabilității soluției. De regulă, cu cât lungimea fiecărui interval este mai scurtă, de exemplu. cu cât numărul acestor intervale este mai mare, cu atât diferența dintre valorile aproximative și exacte ale integralei este mai mică. Acest lucru este valabil pentru majoritatea funcțiilor. În metoda trapezului, eroarea în calcularea integralei ϭ este aproximativ proporțională cu pătratul pasului de integrare (ϭ ~ h 2).Astfel, pentru a calcula integrala unei anumite funcții în termeni de a, b, este necesar să se calculeze împărțiți segmentul în N 0 intervale și găsiți suma ariilor trapezului. Apoi, trebuie să creșteți numărul de intervale N 1, să calculați din nou suma trapezului și să comparați valoarea rezultată cu rezultatul anterior. Acest lucru ar trebui repetat până la (N i) până când este atinsă precizia specificată a rezultatului (criteriul de convergență).

Pentru metodele dreptunghi și trapez, de obicei la fiecare pas de iterație numărul de intervale crește de 2 ori (N i +1 = 2N i).

Criteriul de convergență:

Principalul avantaj al regulii trapezoidale este simplitatea acesteia. Cu toate acestea, dacă este necesară o precizie ridicată la calcularea integralei, această metodă poate necesita prea multe iterații.

Eroarea absolută a metodei trapezoidale este estimat ca
.

Exemplu. Calculați o integrală aproximativ definită folosind formula trapezoidală.

a) Împărțirea segmentului de integrare în 3 părți.
b) Împărțirea segmentului de integrare în 5 părți.

Soluţie:
a) După condiție, segmentul de integrare trebuie împărțit în 3 părți, adică.
Să calculăm lungimea fiecărui segment de partiție: .

Astfel, formula generală a trapezelor este redusă la o dimensiune plăcută:

In cele din urma:

Permiteți-mi să vă reamintesc că valoarea rezultată este o valoare aproximativă a zonei.

b) Să împărțim segmentul de integrare în 5 părți egale, adică. Prin creșterea numărului de segmente, creștem acuratețea calculelor.

Dacă , atunci formula trapezoidală ia următoarea formă:

Să găsim pasul de partiție:
, adică lungimea fiecărui segment intermediar este de 0,6.

La finalizarea sarcinii, este convenabil să formalizați toate calculele folosind un tabel de calcul:

În prima linie scriem „contor”

Ca urmare:

Ei bine, chiar există o clarificare, și una serioasă!
Dacă pentru 3 segmente de partiție, atunci pentru 5 segmente. Dacă luați un segment și mai mare => va fi și mai precis.

Formula lui Simpson. Formula trapezoidală dă un rezultat care depinde puternic de mărimea pasului h, care afectează acuratețea calculării unei anumite integrale, mai ales în cazurile în care funcția este nemonotonă. Se poate presupune că acuratețea calculelor va crește dacă, în loc de segmente drepte care înlocuiesc fragmente curbilinii ale graficului funcției f(x), vom folosi, de exemplu, fragmente de parabole date prin trei puncte adiacente ale graficului. Această interpretare geometrică stă la baza metodei lui Simpson de calculare a integralei definite. Întregul interval de integrare a,b este împărțit în N segmente, lungimea segmentului va fi și ea egală cu h=(b-a)/N.

Formula lui Simpson arată astfel:

termenul rămas

Pe măsură ce lungimea segmentelor crește, acuratețea formulei scade, deci pentru a crește precizia, se folosește formula compusă a lui Simpson. Întregul interval de integrare este împărțit într-un număr par de segmente identice N, lungimea segmentului va fi și ea egală cu h=(b-a)/N. Formula compusă a lui Simpson este:

În formulă, expresiile dintre paranteze reprezintă sumele valorilor integrandului de la capetele segmentelor interne pare, respectiv.

Restul formulei lui Simpson este proporțional cu puterea a patra a pasului:

Exemplu: Folosind regula lui Simpson, calculați integrala. (Soluție exactă - 0,2)

metoda Gauss

Formula de cuadratura gaussiana. Principiul de bază al formulelor de cuadratura de al doilea tip este vizibil din Figura 1.12: este necesar să se plaseze punctele în acest fel X 0 și X 1 în interiorul segmentului [ A;b], astfel încât aria totală a „triunghiurilor” să fie egală cu aria „segmentului”. Când se utilizează formula Gauss, segmentul original [ A;b] se reduce la segmentul [-1;1] prin înlocuirea variabilei X pe

0.5∙(b– A)∙t+ 0.5∙(b + A).

Apoi , Unde .

O astfel de înlocuire este posibilă dacă AȘi b sunt finite, iar funcția f(X) este continuă pe [ A;b]. Formula Gauss la n puncte x i, i=0,1,..,n-1 în interiorul segmentului [ A;b]:

, (1.27)

Unde t iȘi A i pentru diverse n sunt date în cărți de referință. De exemplu, când n=2 A 0 =A 1 =1; la n=3: t 0 =t 2 "0,775, t 1 =0, A 0 =A 2 "0,555, A 1 "0,889.

Formula de cuadratura gaussiana

obţinută cu o funcţie de greutate egală cu unitatea p(x)= 1 și noduri x i, care sunt rădăcinile polinoamelor Legendre

Cote A i ușor de calculat folosind formule

i=0,1,2,...n.

Valorile nodurilor și coeficienților pentru n=2,3,4,5 sunt date în tabel

Ordin	Noduri	Cote
n=2	x 1=0 x 0 =-x 2=0.7745966692	A 1=8/9 A 0 = A 2=5/9
n=3	x 2 =-x 1=0.3399810436 x 3 =-x 0=0.8611363116	A 1 = A 2=0.6521451549 A 0 = A 3=0.6521451549
n=4	X 2 = 0 X 3 = -X 1 = 0.5384693101 X 4 =-X 0 =0.9061798459	A 0 =0.568888899 A 3 =A 1 =0.4786286705 A 0 =A 4 =0.2869268851
n=5	X 5 = -X 0 =0.9324695142 X 4 = -X 1 =0.6612093865 X 3 = -X 2 =0.2386191861	A 5 =A 0 =0.1713244924 A 4 =A 1 =0.3607615730 A 3 =A 2 =0.4679139346

Exemplu. Calculați valoarea utilizând formula Gauss pentru n=2:

Valoare exacta: .

Algoritmul de calcul al integralei folosind formula Gauss nu implică dublarea numărului de microsegmente, ci creșterea numărului de ordonate cu 1 și compararea valorilor obținute ale integralei. Avantajul formulei Gauss este precizia sa ridicată cu un număr relativ mic de ordonate. Dezavantaje: incomod pentru calcule manuale; este necesar să stocați valorile în memoria computerului t i, A i pentru diverse n.

Eroarea formulei de cuadratura gaussiană pe segment va fi Pentru restul termenului formula va fi și coeficientul α N scade rapid odata cu cresterea N. Aici

Formulele gaussiene oferă o precizie ridicată chiar și cu un număr mic de noduri (de la 4 la 10). În acest caz, în calculele practice, numărul de noduri variază de la câteva sute la câteva mii. De remarcat, de asemenea, că ponderile cuadraturilor gaussiene sunt întotdeauna pozitive, ceea ce asigură stabilitatea algoritmului de calcul al sumelor.

Metoda celor mai mici pătrate (OLS) vă permite să estimați diferite cantități folosind rezultatele multor măsurători care conțin erori aleatorii.

Caracteristicile MNE

Ideea principală a acestei metode este că suma erorilor pătrate este considerată un criteriu pentru acuratețea rezolvării problemei, pe care se străduiesc să o minimizeze. Atunci când se utilizează această metodă, pot fi utilizate atât abordări numerice, cât și abordări analitice.

În special, ca implementare numerică, metoda celor mai mici pătrate implică luarea cât mai multor măsurători ale unei variabile aleatoare necunoscute. Mai mult, cu cât mai multe calcule, cu atât soluția va fi mai precisă. Pe baza acestui set de calcule (date inițiale) se obține un alt set de soluții estimate, din care apoi se selectează cea mai bună. Dacă se parametriză setul de soluții, atunci metoda celor mai mici pătrate se va reduce la găsirea valorii optime a parametrilor.

Ca abordare analitică a implementării LSM pe un set de date inițiale (măsurători) și un set așteptat de soluții, se determină una anume (funcțională), care poate fi exprimată printr-o formulă obținută ca o anumită ipoteză care necesită confirmare. În acest caz, metoda celor mai mici pătrate se reduce la găsirea minimului acestei funcționale pe setul de erori pătrate ale datelor originale.

Vă rugăm să rețineți că nu sunt erorile în sine, ci pătratele erorilor. De ce? Faptul este că adesea abaterile măsurătorilor de la valoarea exactă sunt atât pozitive, cât și negative. La determinarea mediei, suma simplă poate duce la o concluzie incorectă cu privire la calitatea estimării, deoarece anularea valorilor pozitive și negative va reduce puterea de eșantionare a măsurătorilor multiple. Și, în consecință, acuratețea evaluării.

Pentru a preveni acest lucru, se însumează abaterile la pătrat. Mai mult, pentru a egaliza dimensiunea valorii măsurate și estimarea finală, se extrage suma erorilor pătrate.

Unele aplicații MNC

MNC este utilizat pe scară largă în diverse domenii. De exemplu, în teoria probabilității și statistica matematică, metoda este utilizată pentru a determina o astfel de caracteristică a unei variabile aleatoare precum abaterea standard, care determină lățimea intervalului de valori ale variabilei aleatoare.

Aproximarea datelor experimentale este o metodă bazată pe înlocuirea datelor obținute experimental cu o funcție analitică care trece cel mai aproape sau coincide în punctele nodale cu valorile originale (date obținute în timpul unui experiment sau experiment). În prezent, există două moduri de a defini o funcție analitică:

Prin construirea unui polinom de interpolare de n grade care trece direct prin toate punctele o matrice de date dată. În acest caz, funcția de aproximare este prezentată sub forma: un polinom de interpolare în formă Lagrange sau un polinom de interpolare în formă Newton.

Construind un polinom de aproximare de n grade care trece în imediata apropiere a punctelor dintr-o matrice de date dată. Astfel, funcția de aproximare netezește toate zgomotele aleatorii (sau erorile) care pot apărea în timpul experimentului: valorile măsurate în timpul experimentului depind de factori aleatori care fluctuează în funcție de propriile legi aleatorii (erori de măsurare sau instrumente, inexactitate sau experimentale). erori). În acest caz, funcția de aproximare este determinată folosind metoda celor mai mici pătrate.

Metoda celor mai mici pătrate(în literatura engleză Ordinary Least Squares, MCO) este o metodă matematică bazată pe determinarea unei funcții de aproximare care este construită în cea mai apropiată apropiere de puncte dintr-o serie dată de date experimentale. Apropierea funcțiilor originale și de aproximare F(x) este determinată de o măsură numerică și anume: suma abaterilor pătrate ale datelor experimentale de la curba de aproximare F(x) ar trebui să fie cea mai mică.

Curba de aproximare construită folosind metoda celor mai mici pătrate

Se folosește metoda celor mai mici pătrate:

Să rezolve sisteme de ecuații supradeterminate când numărul de ecuații depășește numărul de necunoscute;

Pentru a găsi o soluție în cazul sistemelor de ecuații neliniare obișnuite (nu supradeterminate);

Pentru a aproxima valorile punctuale cu o funcție de aproximare.

Funcția de aproximare folosind metoda celor mai mici pătrate este determinată din condiția sumei minime a abaterilor pătrate ale funcției de aproximare calculată dintr-o serie dată de date experimentale. Acest criteriu al metodei celor mai mici pătrate se scrie ca următoarea expresie:

Valorile funcției de aproximare calculate la punctele nodale,

O serie dată de date experimentale în puncte nodale.

Criteriul pătratic are o serie de proprietăți „bune”, cum ar fi diferențiabilitatea, oferind o soluție unică la problema de aproximare cu funcții de aproximare polinomială.

În funcție de condițiile problemei, funcția de aproximare este un polinom de gradul m

Gradul funcției de aproximare nu depinde de numărul de puncte nodale, dar dimensiunea acesteia trebuie să fie întotdeauna mai mică decât dimensiunea (numărul de puncte) unui tablou de date experimentale dat.

∙ Dacă gradul funcției de aproximare este m=1, atunci aproximăm funcția tabulară cu o dreaptă (regresie liniară).

∙ Dacă gradul funcției de aproximare este m=2, atunci aproximăm funcția tabelă cu o parabolă pătratică (aproximare pătratică).

∙ Dacă gradul funcției de aproximare este m=3, atunci aproximăm funcția tabelă cu o parabolă cubică (aproximație cubică).

În cazul general, când este necesar să se construiască un polinom de aproximare de gradul m pentru valorile tabelului date, condiția pentru minimul sumei abaterilor pătrate peste toate punctele nodale este rescrisă în următoarea formă:

- coeficienți necunoscuți ai polinomului de aproximare de gradul m;

Numărul de valori din tabel specificat.

O condiție necesară pentru existența unui minim al unei funcții este egalitatea cu zero a derivatelor sale parțiale în raport cu variabilele necunoscute. . Ca rezultat, obținem următorul sistem de ecuații:

Să transformăm sistemul liniar de ecuații rezultat: deschideți parantezele și mutați termenii liberi în partea dreaptă a expresiei. Ca urmare, sistemul rezultat de expresii algebrice liniare va fi scris în următoarea formă:

Acest sistem de expresii algebrice liniare poate fi rescris sub formă de matrice:

Ca urmare, s-a obţinut un sistem de ecuaţii liniare de dimensiunea m+1, care constă din m+1 necunoscute. Acest sistem poate fi rezolvat folosind orice metodă de rezolvare a ecuațiilor algebrice liniare (de exemplu, metoda Gauss). Ca rezultat al soluției, se vor găsi parametri necunoscuți ai funcției de aproximare care furnizează suma minimă a abaterilor pătrate ale funcției de aproximare de la datele originale, adică. cea mai bună aproximare pătratică posibilă. Trebuie amintit că, dacă chiar și o valoare a datelor sursă se modifică, toți coeficienții își vor schimba valorile, deoarece sunt complet determinați de datele sursă.

Aproximarea datelor sursă prin dependență liniară

(regresie liniara)

Ca exemplu, să luăm în considerare tehnica de determinare a funcției de aproximare, care este specificată sub forma unei dependențe liniare. În conformitate cu metoda celor mai mici pătrate, condiția pentru minimul sumei abaterilor pătrate este scrisă în următoarea formă:

Coordonatele nodurilor de tabel;

Coeficienți necunoscuți ai funcției de aproximare, care este specificat ca o dependență liniară.

O condiție necesară pentru existența unui minim al unei funcții este egalitatea la zero a derivatelor sale parțiale în raport cu variabilele necunoscute. Ca rezultat, obținem următorul sistem de ecuații:

Să transformăm sistemul liniar de ecuații rezultat.

Rezolvăm sistemul rezultat de ecuații liniare. Coeficienții funcției de aproximare în formă analitică se determină după cum urmează (metoda lui Cramer):

Acești coeficienți asigură construirea unei funcții liniare de aproximare în conformitate cu criteriul minimizării sumei pătratelor funcției de aproximare din valorile tabelare date (date experimentale).

Algoritm pentru implementarea metodei celor mai mici pătrate

1. Date inițiale:

Este specificată o serie de date experimentale cu numărul de măsurători N

Se precizează gradul polinomului de aproximare (m).

2. Algoritm de calcul:

2.1. Coeficienții sunt determinați pentru construirea unui sistem de ecuații cu dimensiuni

Coeficienții sistemului de ecuații (partea stângă a ecuației)

- indicele numărului coloanei matricei pătrate a sistemului de ecuații

Termeni liberi ai unui sistem de ecuații liniare (partea dreaptă a ecuației)

- indicele numărului de rând al matricei pătrate a sistemului de ecuații

2.2. Formarea unui sistem de ecuații liniare cu dimensiunea .

2.3. Rezolvarea unui sistem de ecuații liniare pentru a determina coeficienții necunoscuți ai unui polinom de aproximare de gradul m.

2.4 Determinarea sumei abaterilor pătrate ale polinomului de aproximare de la valorile originale la toate punctele nodale

Valoarea găsită a sumei abaterilor pătrate este minimul posibil.

Aproximare folosind alte funcții

Trebuie remarcat faptul că atunci când se aproximează datele originale în conformitate cu metoda celor mai mici pătrate, funcția logaritmică, funcția exponențială și funcția de putere sunt uneori folosite ca funcție de aproximare.

Aproximație logaritmică

Să luăm în considerare cazul în care funcția de aproximare este dată de o funcție logaritmică de forma:

Metoda celor mai mici pătrate

Metoda celor mai mici pătrate ( MCO, MCO, Cele mai mici pătrate obișnuite) - una dintre metodele de bază de analiză de regresie pentru estimarea parametrilor necunoscuți ai modelelor de regresie folosind date eșantion. Metoda se bazează pe minimizarea sumei pătratelor reziduurilor de regresie.

Trebuie remarcat faptul că metoda celor mai mici pătrate în sine poate fi numită o metodă de rezolvare a unei probleme în orice domeniu dacă soluția se află sau satisface un anumit criteriu de minimizare a sumei pătratelor unor funcții ale variabilelor cerute. Prin urmare, metoda celor mai mici pătrate poate fi folosită și pentru o reprezentare aproximativă (aproximare) a unei anumite funcții prin alte funcții (mai simple), atunci când se găsesc o mulțime de mărimi care satisfac ecuații sau constrângeri, al căror număr depășește numărul acestor mărimi. , etc.

Esența MNC

Să fie dat un model (parametric) al unei relații probabilistice (de regresie) între variabila (explicată). yși mulți factori (variabile explicative) X

unde este vectorul parametrilor necunoscuți ai modelului

- eroare aleatoare de model.

Să existe și eșantion de observații ale valorilor acestor variabile. Fie numărul de observație (). Apoi sunt valorile variabilelor din a-a observație. Apoi, pentru valorile date ale parametrilor b, este posibil să se calculeze valorile teoretice (modelului) ale variabilei explicate y:

Mărimea reziduurilor depinde de valorile parametrilor b.

Esența metodei celor mai mici pătrate (obișnuită, clasică) este de a găsi parametrii b pentru care suma pătratelor reziduurilor (ing. Suma reziduală a pătratelor) va fi minimă:

În cazul general, această problemă poate fi rezolvată prin metode de optimizare (minimizare) numerică. În acest caz ei vorbesc despre cele mai mici pătrate neliniare(NLS sau NLLS - engleză) Cele mai mici pătrate neliniare). În multe cazuri este posibilă obținerea unei soluții analitice. Pentru a rezolva problema de minimizare, este necesar să se găsească puncte staționare ale funcției prin diferențierea acesteia față de parametrii necunoscuți b, echivalând derivatele la zero și rezolvând sistemul de ecuații rezultat:

Dacă erorile aleatoare ale modelului sunt distribuite în mod normal, au aceeași varianță și sunt necorelate, estimările parametrilor MCO sunt aceleași cu estimările cu probabilitatea maximă (MLM).

MCO în cazul unui model liniar

Fie dependența de regresie liniară:

Lăsa y este un vector coloană de observații ale variabilei explicate și este o matrice de observații factoriale (rândurile matricei sunt vectorii valorilor factorilor dintr-o observație dată, coloanele sunt vectorul valorilor unui factor dat în toate observaţiile). Reprezentarea matricială a modelului liniar este:

Atunci vectorul estimărilor variabilei explicate și vectorul reziduurilor de regresie vor fi egali

În consecință, suma pătratelor reziduurilor de regresie va fi egală cu

Diferențiând această funcție în raport cu vectorul parametrilor și echivalând derivatele la zero, obținem un sistem de ecuații (sub formă de matrice):

Rezolvarea acestui sistem de ecuații oferă formula generală pentru estimările celor mai mici pătrate pentru un model liniar:

În scopuri analitice, cea din urmă reprezentare a acestei formule este utilă. Dacă într-un model de regresie datele centrat, atunci în această reprezentare prima matrice are semnificația unei matrice de covarianță eșantion de factori, iar a doua este un vector de covarianțe de factori cu variabila dependentă. Dacă în plus datele sunt de asemenea normalizat către MSE (adică, în cele din urmă standardizate), atunci prima matrice are semnificația unei matrice de corelație eșantion de factori, al doilea vector - un vector de corelații de eșantion de factori cu variabila dependentă.

O proprietate importantă a estimărilor MOL pentru modele cu constantă- linia regresiei construite trece prin centrul de greutate al datelor eșantionului, adică egalitatea este satisfăcută:

În special, în cazul extrem, când singurul regresor este o constantă, constatăm că estimarea MCO a singurului parametru (constanta însăși) este egală cu valoarea medie a variabilei explicate. Adică, media aritmetică, cunoscută pentru proprietățile sale bune din legile numerelor mari, este și o estimare a celor mai mici pătrate - satisface criteriul sumei minime a abaterilor pătrate de la aceasta.

Exemplu: cea mai simplă regresie (în perechi).

În cazul regresiei liniare perechi, formulele de calcul sunt simplificate (puteți face fără algebra matriceală):

Proprietățile estimatorilor MCO

În primul rând, observăm că pentru modelele liniare, estimările MCO sunt estimări liniare, după cum rezultă din formula de mai sus. Pentru estimările MCO nepărtinitoare, este necesar și suficient să se îndeplinească cea mai importantă condiție a analizei de regresie: așteptarea matematică a unei erori aleatoare, condiționată de factori, trebuie să fie egală cu zero. Această condiție, în special, este îndeplinită dacă

așteptarea matematică a erorilor aleatoare este zero și
factorii și erorile aleatoare sunt variabile aleatoare independente.

A doua condiție - condiția de exogeneitate a factorilor - este fundamentală. Dacă această proprietate nu este îndeplinită, atunci putem presupune că aproape orice estimări vor fi extrem de nesatisfăcătoare: nici măcar nu vor fi consecvente (adică chiar și o cantitate foarte mare de date nu ne permite să obținem estimări de înaltă calitate în acest caz ). În cazul clasic, se face o presupunere mai puternică despre determinismul factorilor, spre deosebire de o eroare aleatorie, ceea ce înseamnă automat că este îndeplinită condiția de exogeneitate. În cazul general, pentru consistența estimărilor, este suficient să se satisfacă condiția de exogeneitate împreună cu convergența matricei către o matrice nesingulară pe măsură ce dimensiunea eșantionului crește la infinit.

Pentru ca, pe lângă consecvență și imparțialitate, estimările celor mai mici pătrate (obișnuite) să fie și eficiente (cele mai bune din clasa estimărilor liniare imparțiale), trebuie îndeplinite proprietăți suplimentare ale erorii aleatoare:

Aceste ipoteze pot fi formulate pentru matricea de covarianță a vectorului de eroare aleatorie

Un model liniar care satisface aceste condiții se numește clasic. Estimările MCO pentru regresia liniară clasică sunt estimări imparțiale, consistente și cele mai eficiente din clasa tuturor estimărilor nepărtinitoare liniare (în literatura engleză abrevierea este uneori folosită ALBASTRU (Cel mai bun estimator liniar nebazat) - cea mai bună estimare liniară imparțială; în literatura rusă este mai des citată teorema Gauss-Markov). După cum este ușor de arătat, matricea de covarianță a vectorului estimărilor de coeficienți va fi egală cu:

MCO generalizată

Metoda celor mai mici pătrate permite o generalizare largă. În loc de a minimiza suma pătratelor reziduurilor, se poate minimiza o formă pătratică definită pozitivă a vectorului de reziduuri, unde este o matrice de greutate definită pozitivă simetrică. Cele mai mici pătrate convenționale sunt un caz special al acestei abordări, în care matricea de greutate este proporțională cu matricea de identitate. După cum se știe din teoria matricelor (sau operatorilor) simetrice, pentru astfel de matrici există o descompunere. În consecință, funcționalitatea specificată poate fi reprezentată după cum urmează, adică această funcțională poate fi reprezentată ca suma pătratelor unor „rămăși” transformate. Astfel, putem distinge o clasă de metode ale celor mai mici pătrate - metodele LS (Least Squares).

S-a dovedit (teorema lui Aitken) că pentru un model de regresie liniară generalizată (în care nu sunt impuse restricții asupra matricei de covarianță a erorilor aleatoare), cele mai eficiente (din clasa estimărilor liniare nepărtinitoare) sunt așa-numitele estimări. Cele mai mici pătrate generalizate (GLS - Generalized Least Squares)- Metoda LS cu o matrice de ponderi egală cu matricea de covarianță inversă a erorilor aleatoare: .

Se poate demonstra că formula pentru estimările GLS ale parametrilor unui model liniar are forma

Matricea de covarianță a acestor estimări va fi în consecință egală cu

De fapt, esența MOL constă într-o anumită transformare (liniară) (P) a datelor originale și aplicarea MCO obișnuită la datele transformate. Scopul acestei transformări este ca pentru datele transformate, erorile aleatoare să satisfacă deja ipotezele clasice.

MCO ponderate

În cazul unei matrice de ponderi diagonale (și, prin urmare, a unei matrice de covarianță a erorilor aleatoare), avem așa-numitele Least Squares (WLS) ponderate. În acest caz, suma ponderată a pătratelor reziduurilor modelului este minimizată, adică fiecare observație primește o „pondere” care este invers proporțională cu varianța erorii aleatoare din această observație: . De fapt, datele sunt transformate prin ponderarea observațiilor (împărțirea la o sumă proporțională cu abaterea standard estimată a erorilor aleatoare), iar datelor ponderate se aplică MCO obișnuite.

Câteva cazuri speciale de utilizare a MNC în practică

Aproximarea dependenței liniare

Să luăm în considerare cazul când, ca urmare a studierii dependenței unei anumite mărimi scalare de o anumită mărime scalară (Acesta ar putea fi, de exemplu, dependența tensiunii de puterea curentului: , unde este o valoare constantă, rezistența lui conductor), s-au efectuat măsurători ale acestor mărimi, în urma cărora valorile și valorile corespunzătoare acestora. Datele de măsurare trebuie înregistrate într-un tabel.

Masa. Rezultatele măsurătorilor.

Masura nr.
1
2
3
4
5
6

Întrebarea este: ce valoare a coeficientului poate fi selectată pentru a descrie cel mai bine dependența? Conform metodei celor mai mici pătrate, această valoare ar trebui să fie astfel încât suma abaterilor pătrate ale valorilor de la valori

a fost minim

Suma abaterilor pătrate are un extremum - un minim, ceea ce ne permite să folosim această formulă. Să găsim din această formulă valoarea coeficientului. Pentru a face acest lucru, îi transformăm partea stângă după cum urmează:

Ultima formulă ne permite să găsim valoarea coeficientului, care este ceea ce a fost cerut în problemă.

Poveste

Până la începutul secolului al XIX-lea. oamenii de știință nu aveau anumite reguli pentru rezolvarea unui sistem de ecuații în care numărul de necunoscute este mai mic decât numărul de ecuații; Până atunci se foloseau tehnici private care depindeau de tipul de ecuații și de inteligența calculatoarelor și, prin urmare, calculatoare diferite, bazate pe aceleași date de observație, ajungeau la concluzii diferite. Gauss (1795) a fost primul care a folosit metoda, iar Legendre (1805) a descoperit-o și a publicat-o independent sub numele său modern (franceză. Méthode des moindres quarrés ). Laplace a legat metoda de teoria probabilității, iar matematicianul american Adrain (1808) a luat în considerare aplicațiile sale teoretice ale probabilității. Metoda a fost răspândită și îmbunătățită prin cercetări ulterioare ale lui Encke, Bessel, Hansen și alții.

Utilizări alternative ale OLS

Ideea metodei celor mai mici pătrate poate fi folosită și în alte cazuri care nu au legătură directă cu analiza de regresie. Cert este că suma pătratelor este una dintre cele mai comune măsuri de proximitate pentru vectori (metrică euclidiană în spații cu dimensiuni finite).

O aplicație este „soluția” sistemelor de ecuații liniare în care numărul de ecuații este mai mare decât numărul de variabile

unde matricea nu este pătrată, ci dreptunghiulară de dimensiune.

Un astfel de sistem de ecuații, în cazul general, nu are soluție (dacă rangul este de fapt mai mare decât numărul de variabile). Prin urmare, acest sistem poate fi „rezolvat” doar în sensul alegerii unui astfel de vector pentru a minimiza „distanța” dintre vectori și . Pentru a face acest lucru, puteți aplica criteriul minimizării sumei pătratelor diferențelor dintre laturile stânga și dreapta ale ecuațiilor sistemului, adică. Este ușor de demonstrat că rezolvarea acestei probleme de minimizare duce la rezolvarea următorului sistem de ecuații