Thelbi i metodës së katrorëve më të vegjël është. Ku aplikohet metoda e katrorëve më të vegjël? Shembuj të zgjidhjes së problemave me metodën e katrorëve më të vegjël

Ka shumë aplikime, pasi lejon një paraqitje të përafërt të një funksioni të caktuar nga funksione të tjera më të thjeshta. LSM mund të jetë jashtëzakonisht i dobishëm në përpunimin e vëzhgimeve, dhe përdoret në mënyrë aktive për të vlerësuar disa sasi nga rezultatet e matjeve të të tjerave që përmbajnë gabime të rastësishme. Në këtë artikull, do të mësoni se si të zbatoni llogaritjet e katrorëve më të vegjël në Excel.

Deklarata e problemit në një shembull specifik

Supozoni se ka dy tregues X dhe Y. Për më tepër, Y varet nga X. Meqenëse OLS është me interes për ne nga pikëpamja e analizës së regresionit (në Excel, metodat e tij zbatohen duke përdorur funksione të integruara), duhet të vazhdojmë menjëherë për të shqyrtuar një problem specifik.

Pra, le të jetë X zona e shitjes së një dyqani ushqimor, e matur në metra katrorë, dhe Y të jetë qarkullimi vjetor, i përcaktuar në miliona rubla.

Kërkohet të bëhet një parashikim se çfarë xhiro (Y) do të ketë dyqani nëse ka një ose një tjetër hapësirë me pakicë. Natyrisht, funksioni Y = f (X) po rritet, pasi hipermarketi shet më shumë mallra sesa tezga.

Disa fjalë për saktësinë e të dhënave fillestare të përdorura për parashikim

Le të themi se kemi një tabelë të ndërtuar me të dhëna për n dyqane.

Sipas statistikave matematikore, rezultatet do të jenë pak a shumë të sakta nëse shqyrtohen të dhënat për të paktën 5-6 objekte. Gjithashtu, rezultatet "anormale" nuk mund të përdoren. Në veçanti, një butik i vogël elitar mund të ketë një xhiro shumë herë më të madhe se xhiroja e pikave të mëdha të klasës "masmarket".

Thelbi i metodës

Të dhënat e tabelës mund të shfaqen në rrafshin kartezian si pika M 1 (x 1, y 1), ... M n (x n, y n). Tani zgjidhja e problemit do të reduktohet në zgjedhjen e një funksioni të përafërt y = f (x), i cili ka një grafik që kalon sa më afër pikave M 1, M 2, .. M n .

Sigurisht, mund të përdorni një polinom të shkallës së lartë, por ky opsion nuk është vetëm i vështirë për t'u zbatuar, por thjesht i pasaktë, pasi nuk do të pasqyrojë prirjen kryesore që duhet të zbulohet. Zgjidhja më e arsyeshme është kërkimi i vijës së drejtë y = ax + b, e cila përafron më së miri të dhënat eksperimentale, dhe më saktë, koeficientët - a dhe b.

Rezultati i saktësisë

Për çdo përafrim, vlerësimi i saktësisë së tij është i një rëndësie të veçantë. Shënoni me e i ndryshimin (devijimin) midis vlerave funksionale dhe eksperimentale për pikën x i, d.m.th. e i = y i - f (x i).

Natyrisht, për të vlerësuar saktësinë e përafrimit, mund të përdorni shumën e devijimeve, d.m.th., kur zgjidhni një vijë të drejtë për një paraqitje të përafërt të varësisë së X nga Y, preferenca duhet t'i jepet asaj që ka vlerën më të vogël të shuma e i në të gjitha pikat në shqyrtim. Sidoqoftë, jo gjithçka është aq e thjeshtë, pasi së bashku me devijimet pozitive, praktikisht do të ketë edhe negative.

Ju mund ta zgjidhni problemin duke përdorur modulet e devijimit ose katrorët e tyre. Metoda e fundit është më e përdorura. Përdoret në shumë fusha, duke përfshirë analizën e regresionit (në Excel, zbatimi i tij kryhet duke përdorur dy funksione të integruara), dhe prej kohësh është provuar të jetë efektiv.

Metoda me katrorin më të vogël

Në Excel, siç e dini, ekziston një funksion i integruar automatik që ju lejon të llogaritni vlerat e të gjitha vlerave të vendosura në intervalin e zgjedhur. Kështu, asgjë nuk do të na pengojë të llogarisim vlerën e shprehjes (e 1 2 + e 2 2 + e 3 2 + ... e n 2).

Në shënimin matematikor, kjo duket si:

Meqenëse fillimisht u mor vendimi për të përafruar duke përdorur një vijë të drejtë, ne kemi:

Kështu, detyra për të gjetur një vijë të drejtë që përshkruan më së miri një marrëdhënie specifike midis X dhe Y arrin në llogaritjen e minimumit të një funksioni të dy variablave:

Kjo kërkon barazimin me zero derivatet e pjesshme në lidhje me variablat e rinj a dhe b, dhe zgjidhjen e një sistemi primitiv të përbërë nga dy ekuacione me 2 të panjohura të formës:

Pas transformimeve të thjeshta, duke përfshirë pjesëtimin me 2 dhe manipulimin e shumave, marrim:

Duke e zgjidhur atë, për shembull, me metodën e Cramer-it, marrim një pikë të palëvizshme me koeficientë të caktuar a * dhe b * . Ky është minimumi, pra për të parashikuar se çfarë qarkullimi do të ketë dyqani për një zonë të caktuar, është e përshtatshme vija e drejtë y = a * x + b *, e cila është një model regresioni për shembullin në fjalë. Sigurisht, nuk do t'ju lejojë të gjeni rezultatin e saktë, por do t'ju ndihmojë të merrni një ide nëse blerja e një dyqani me kredi për një zonë të caktuar do të paguajë.

Si të zbatoni metodën e katrorëve më të vegjël në Excel

Excel ka një funksion për llogaritjen e vlerës së katrorëve më të vegjël. Ka formën e mëposhtme: TREND (vlera të njohura Y; vlera të njohura X; vlera të reja X; konstante). Le të zbatojmë formulën për llogaritjen e OLS në Excel në tabelën tonë.

Për ta bërë këtë, në qelizën në të cilën duhet të shfaqet rezultati i llogaritjes duke përdorur metodën e katrorëve më të vegjël në Excel, futni shenjën "=" dhe zgjidhni funksionin "TREND". Në dritaren që hapet, plotësoni fushat e duhura, duke theksuar:

diapazoni i vlerave të njohura për Y (në këtë rast të dhëna për qarkullimin);
diapazoni x 1, …x n, d.m.th. madhësia e hapësirës me pakicë;
dhe vlerat e njohura dhe të panjohura të x, për të cilat duhet të zbuloni madhësinë e qarkullimit (për informacion rreth vendndodhjes së tyre në fletën e punës, shihni më poshtë).

Përveç kësaj, ekziston një variabël logjik "Const" në formulë. Nëse vendosni 1 në fushën që korrespondon me të, atëherë kjo do të thotë që llogaritjet duhet të kryhen, duke supozuar se b \u003d 0.

Nëse duhet të dini parashikimin për më shumë se një vlerë x, atëherë pasi të keni futur formulën, nuk duhet të shtypni "Enter", por duhet të shkruani kombinimin "Shift" + "Control" + "Enter" ("Enter" ) në tastierë.

Disa Karakteristika

Analiza e regresionit mund të jetë e aksesueshme edhe për dummies. Formula Excel për parashikimin e vlerës së një grupi variablash të panjohur - "TREND" - mund të përdoret edhe nga ata që nuk kanë dëgjuar kurrë për metodën e katrorëve më të vegjël. Mjafton vetëm të njihni disa veçori të punës së tij. Veçanërisht:

Nëse vendosni gamën e vlerave të njohura të ndryshores y në një rresht ose kolonë, atëherë çdo rresht (kolona) me vlera të njohura të x do të perceptohet nga programi si një ndryshore më vete.
Nëse diapazoni me x të njohur nuk është specifikuar në dritaren TREND, atëherë në rast të përdorimit të funksionit në Excel, programi do ta konsiderojë atë si një grup të përbërë nga numra të plotë, numri i të cilave korrespondon me diapazonin me vlerat e dhëna. të ndryshores y.
Për të nxjerrë një grup vlerash "të parashikuara", shprehja e trendit duhet të futet si një formulë grupi.
Nëse nuk specifikohen vlera të reja x, atëherë funksioni TREND i konsideron ato të barabarta me ato të njohura. Nëse ato nuk janë të specifikuara, atëherë vargu 1 merret si argument; 2; 3; 4;…, e cila është në përpjesëtim me diapazonin me parametrat e dhënë tashmë y.
Gama që përmban vlerat e reja x duhet të ketë të njëjtat ose më shumë rreshta ose kolona si diapazoni me vlerat e dhëna y. Me fjalë të tjera, ai duhet të jetë proporcional me variablat e pavarur.
Një grup me vlera të njohura x mund të përmbajë variabla të shumta. Sidoqoftë, nëse po flasim vetëm për një, atëherë kërkohet që vargjet me vlerat e dhëna x dhe y të jenë proporcionale. Në rastin e disa variablave, është e nevojshme që diapazoni me vlerat e dhëna y të përshtatet në një kolonë ose një rresht.

Funksioni PARASHIKIMI

Zbatohet duke përdorur disa funksione. Njëri prej tyre quhet "PARASHIKIMI". Është i ngjashëm me TREND, d.m.th. jep rezultatin e llogaritjeve duke përdorur metodën e katrorëve më të vegjël. Megjithatë, vetëm për një X, për të cilin vlera e Y është e panjohur.

Tani i njihni formulat e Excel për dummies që ju lejojnë të parashikoni vlerën e vlerës së ardhshme të një treguesi sipas një tendence lineare.

Problemi është gjetja e koeficientëve linearë të varësisë për të cilat funksioni i dy ndryshoreve A Dhe b merr vlerën më të vogël. Kjo është, duke pasur parasysh të dhënat A Dhe b shuma e devijimeve në katror të të dhënave eksperimentale nga drejtëza e gjetur do të jetë më e vogla. Kjo është e gjithë pika e metodës së katrorëve më të vegjël.

Kështu, zgjidhja e shembullit reduktohet në gjetjen e ekstremit të një funksioni të dy ndryshoreve.

Nxjerrja e formulave për gjetjen e koeficientëve. Përpilohet dhe zgjidhet një sistem me dy ekuacione me dy të panjohura. Gjetja e derivateve të pjesshme të funksioneve sipas variablave A Dhe b, ne i barazojmë këto derivate me zero.

Ne zgjidhim sistemin rezultues të ekuacioneve me çdo metodë (për shembull, metoda e zëvendësimit ose metoda Cramer) dhe marrim formula për gjetjen e koeficientëve duke përdorur metodën e katrorëve më të vegjël (LSM).

Me të dhëna A Dhe b funksionin merr vlerën më të vogël.

Kjo është e gjithë metoda e katrorëve më të vegjël. Formula për gjetjen e parametrit a përmban shumat , , , dhe parametrin n- sasia e të dhënave eksperimentale. Vlerat e këtyre shumave rekomandohet të llogariten veçmas. Koeficient b gjetur pas llogaritjes a.

Fusha kryesore e aplikimit të polinomeve të tilla është përpunimi i të dhënave eksperimentale (ndërtimi i formulave empirike). Fakti është se polinomi i interpolimit i ndërtuar nga vlerat e funksionit të marrë me ndihmën e eksperimentit do të ndikohet fuqishëm nga "zhurma eksperimentale", për më tepër, gjatë interpolimit, nyjet e interpolimit nuk mund të përsëriten, d.m.th. nuk mund të përdorni rezultatet e eksperimenteve të përsëritura në të njëjtat kushte. Polinomi rrënjë-mesatar-katror zbut zhurmën dhe bën të mundur përdorimin e rezultateve të eksperimenteve të shumta.

Integrimi dhe diferencimi numerik. Shembull.

Integrimi numerik- llogaritja e vlerës së një integrali të caktuar (si rregull, i përafërt). Integrimi numerik kuptohet si një grup metodash numerike për gjetjen e vlerës së një integrali të caktuar.

Diferencimi numerik– një grup metodash për llogaritjen e vlerës së derivatit të një funksioni të dhënë në mënyrë diskrete.

Integrimi

Formulimi i problemit. Paraqitja matematikore e problemit: është e nevojshme të gjendet vlera e një integrali të caktuar

ku a, b janë të fundme, f(x) është i vazhdueshëm në [а, b].

Gjatë zgjidhjes së problemeve praktike, shpesh ndodh që integrali është i papërshtatshëm ose i pamundur të merret në mënyrë analitike: ai mund të mos shprehet në funksione elementare, integrani mund të jepet në formën e një tabele etj. Në raste të tilla, metodat e integrimit numerik janë të përdorura. Metodat e integrimit numerik përdorin zëvendësimin e sipërfaqes së një trapezi lakor me një shumë të fundme zonash me forma më të thjeshta gjeometrike që mund të llogariten saktësisht. Në këtë kuptim flitet për përdorimin e formulave kuadratike.

Shumica e metodave përdorin paraqitjen e integralit si një shumë të fundme (formula kuadratike):

Formulat e kuadraturës bazohen në idenë e zëvendësimit të grafikut të integrandit në intervalin e integrimit me funksione të një forme më të thjeshtë, të cilat mund të integrohen lehtësisht në mënyrë analitike dhe, në këtë mënyrë, të llogariten lehtësisht. Detyra më e thjeshtë e ndërtimit të formulave kuadratike realizohet për modelet matematikore polinomiale.

Mund të dallohen tre grupe metodash:

1. Metoda me ndarjen e segmentit të integrimit në intervale të barabarta. Ndarja në intervale bëhet paraprakisht, zakonisht intervalet zgjidhen të barabarta (për ta bërë më të lehtë llogaritjen e funksionit në skajet e intervaleve). Llogaritni sipërfaqet dhe përmblidhni ato (metodat e drejtkëndëshave, trapezit, Simpson).

2. Metodat me ndarjen e segmentit të integrimit duke përdorur pika të veçanta (metoda Gauss).

3. Llogaritja e integraleve duke përdorur numra të rastit (metoda Monte Carlo).

Metoda drejtkëndëshe. Lëreni funksionin (vizatimin) të integrohet numerikisht në segmentin . Segmentin e ndajmë në N intervale të barabarta. Zona e secilit prej N trapezoidëve lakor mund të zëvendësohet nga zona e një drejtkëndëshi.

Gjerësia e të gjithë drejtkëndëshave është e njëjtë dhe e barabartë me:

Si zgjedhje e lartësisë së drejtkëndëshave, mund të zgjidhni vlerën e funksionit në kufirin e majtë. Në këtë rast, lartësia e drejtkëndëshit të parë do të jetë f(a), e dyta do të jetë f(x 1),…, N-f(N-1).

Nëse e marrim vlerën e funksionit në kufirin e djathtë si zgjedhje të lartësisë së drejtkëndëshit, atëherë në këtë rast lartësia e drejtkëndëshit të parë do të jetë f (x 1), e dyta - f (x 2), . .., N - f (x N).

Siç shihet, në këtë rast njëra nga formulat i jep një përafrim integralit me një tepricë, dhe e dyta me një mangësi. Ekziston një mënyrë tjetër - të përdorni vlerën e funksionit në mes të segmentit të integrimit për përafrim:

Vlerësimi i gabimit absolut të metodës së drejtkëndëshave (në mes)

Vlerësimi i gabimit absolut të metodave të drejtkëndëshave majtas dhe djathtas.

Shembull. Llogaritni të gjithë intervalin dhe ndani intervalin në katër seksione

Zgjidhje. Nga llogaritja analitike e këtij integrali jepet I=arctg(1)–arctg(0)=0,7853981634. Në rastin tonë:

1) h = 1; xo = 0; x1 = 1;

2) h = 0,25 (1/4); x0 = 0; x1 = 0,25; x2 = 0,5; x3 = 0,75; x4 = 1;

Ne llogarisim me metodën e drejtkëndëshave të majtë:

Ne llogarisim me metodën e drejtkëndëshave kënddrejtë:

Llogaritni me metodën e drejtkëndëshave mesatarë:

Metoda trapezoidale. Përdorimi i një polinomi të shkallës së parë për interpolim (një vijë e drejtë e tërhequr nëpër dy pika) çon në formulën e trapezit. Skajet e segmentit të integrimit merren si nyje interpolimi. Kështu, trapezi lakor zëvendësohet nga një trapez i zakonshëm, sipërfaqja e të cilit mund të gjendet si prodhim i gjysmës së shumës së bazave dhe lartësisë.

Në rastin e N segmenteve të integrimit për të gjitha nyjet, me përjashtim të pikave ekstreme të segmentit, vlera e funksionit do të përfshihet në shumën totale dy herë (pasi trapezoidët fqinjë kanë një anë të përbashkët)

Formula e trapezit mund të merret duke marrë gjysmën e shumës së formulave të drejtkëndëshit përgjatë skajeve të djathta dhe të majta të segmentit:

Kontrollimi i qëndrueshmërisë së tretësirës. Si rregull, sa më e shkurtër të jetë gjatësia e çdo intervali, d.m.th. sa më i madh të jetë numri i këtyre intervaleve, aq më i vogël është ndryshimi midis vlerave të përafërta dhe të sakta të integralit. Kjo është e vërtetë për shumicën e funksioneve. Në metodën e trapezit, gabimi në llogaritjen e integralit ϭ është afërsisht proporcional me katrorin e hapit të integrimit (ϭ ~ h 2). Kështu, për të llogaritur integralin e një funksioni të caktuar në kufijtë a, b, është e nevojshme të ndani segmentin në intervale N 0 dhe gjeni shumën e sipërfaqeve të trapezit. Pastaj ju duhet të rritni numrin e intervaleve N 1, përsëri të llogarisni shumën e trapezit dhe të krahasoni vlerën që rezulton me rezultatin e mëparshëm. Kjo duhet të përsëritet deri në (N i) derisa të arrihet saktësia e specifikuar e rezultatit (kriteri i konvergjencës).

Për metodat drejtkëndëshe dhe trapez, zakonisht në çdo hap përsëritjeje, numri i intervaleve rritet me një faktor prej 2 (N i +1 =2N i).

Kriteri i konvergjencës:

Avantazhi kryesor i rregullit të trapezit është thjeshtësia e tij. Megjithatë, nëse integrimi kërkon saktësi të lartë, kjo metodë mund të kërkojë shumë përsëritje.

Gabim absolut i metodës trapezoidale vlerësuar si
.

Shembull. Llogaritni një integral afërsisht të caktuar duke përdorur formulën e trapezit.

a) Ndarja e segmentit të integrimit në 3 pjesë.
b) Ndarja e segmentit të integrimit në 5 pjesë.

Zgjidhja:
a) Sipas kushtit, segmenti i integrimit duhet të ndahet në 3 pjesë, d.m.th.
Llogaritni gjatësinë e secilit segment të ndarjes: .

Kështu, formula e përgjithshme e trapezoideve zvogëlohet në një madhësi të këndshme:

Së fundi:

Ju kujtoj se vlera që rezulton është një vlerë e përafërt e zonës.

b) Segmentin e integrimit e ndajmë në 5 pjesë të barabarta, pra . duke rritur numrin e segmenteve rrisim saktësinë e llogaritjeve.

Nëse , atëherë formula e trapezit merr formën e mëposhtme:

Le të gjejmë hapin e ndarjes:
, domethënë gjatësia e çdo segmenti të ndërmjetëm është 0,6.

Kur përfundoni detyrën, është e përshtatshme të hartoni të gjitha llogaritjet me një tabelë llogaritëse:

Në rreshtin e parë shkruajmë "counter"

Si rezultat:

Epo, vërtet ka një sqarim, dhe një sqarim serioz!
Nëse për 3 segmente të ndarjes, atëherë për 5 segmente. Nëse merrni edhe më shumë segment => do të jetë edhe më i saktë.

Formula Simpson. Formula e trapezit jep një rezultat që varet fort nga madhësia e hapit h, e cila ndikon në saktësinë e llogaritjes së një integrali të caktuar, veçanërisht në rastet kur funksioni është jomonotonik. Mund të supozohet një rritje në saktësinë e llogaritjeve nëse, në vend të segmenteve të vijave të drejta që zëvendësojnë fragmentet kurvilineare të grafikut të funksionit f(x), përdorim, për shembull, fragmente parabolash të dhëna përmes tre pikave fqinje të grafikut. . Një interpretim i ngjashëm gjeometrik qëndron në bazë të metodës së Simpsonit për llogaritjen e integralit të caktuar. I gjithë intervali i integrimit a,b ndahet në N segmente, gjatësia e segmentit gjithashtu do të jetë e barabartë me h=(b-a)/N.

Formula e Simpson është:

afati i mbetur

Me një rritje të gjatësisë së segmenteve, saktësia e formulës zvogëlohet, prandaj, për të rritur saktësinë, përdoret formula e përbërë Simpson. I gjithë intervali i integrimit ndahet në një numër çift segmentesh identike N, gjatësia e segmentit gjithashtu do të jetë e barabartë me h=(b-a)/N. Formula e përbërë Simpson është:

Në formulë, shprehjet në kllapa janë shumat e vlerave të integrandit, përkatësisht, në skajet e segmenteve të brendshme tek dhe çift.

Termi i mbetur i formulës së Simpson është tashmë proporcional me fuqinë e katërt të hapit:

Shembull: Llogaritni integralin duke përdorur rregullën e Simpsonit. (Zgjidhja e saktë - 0.2)

Metoda e Gausit

Formula kuadratike e Gausit. Parimi bazë i formulave kuadratike të varietetit të dytë është i dukshëm nga Figura 1.12: është e nevojshme të vendosni pikat në një mënyrë të tillë X 0 dhe X 1 brenda segmentit [ a;b] në mënyrë që sipërfaqet e "trekëndëshave" në total të jenë të barabarta me sipërfaqet e "segmentit". Kur përdorni formulën e Gausit, segmenti fillestar [ a;b] reduktohet në intervalin [-1;1] duke ndryshuar variablin X në

0.5∙(b– a)∙t+ 0.5∙(b + a).

Pastaj , Ku .

Ky zëvendësim është i mundur nëse a Dhe b janë të fundme, dhe funksioni f(x) është e vazhdueshme në [ a;b]. Formula e Gausit për n pikë x i, i=0,1,..,n-1 brenda segmentit [ a;b]:

, (1.27)

Ku t i Dhe A i për të ndryshme n janë dhënë në librat e referencës. Për shembull, kur n=2 A 0 =A 1=1; në n=3: t 0 =t 2" 0.775, t 1 =0, A 0 =A 2" 0.555, A 1" 0,889.

Formula kuadratike e Gausit

të marra me një funksion peshë të barabartë me një p(x)= 1 dhe nyjet x i, të cilat janë rrënjët e polinomeve Lezhandrit

Shanset A i llogaritet lehtësisht me formula

i=0,1,2,...n.

Vlerat e nyjeve dhe koeficientëve për n=2,3,4,5 janë dhënë në tabelë.

Rendit	Nyje	Shanset
n=2	x 1=0 x 0 =-x2=0.7745966692	A 1=8/9 A 0 = A 2=5/9
n=3	x 2 =-x 1=0.3399810436 x 3 =-x0=0.8611363116	A 1 = A 2=0.6521451549 A 0 = A 3=0.6521451549
n=4	x 2 = 0 x 3 = -x 1 = 0.5384693101 x 4 =-x 0 =0.9061798459	A 0 =0.568888899 A 3 =A 1 =0.4786286705 A 0 =A 4 =0.2869268851
n=5	x 5 = -x 0 =0.9324695142 x 4 = -x 1 =0.6612093865 x 3 = -x 2 =0.2386191861	A 5 =A 0 =0.1713244924 A 4 =A 1 =0.3607615730 A 3 =A 2 =0.4679139346

Shembull. Llogaritni vlerën duke përdorur formulën e Gausit për n=2:

Vlera e saktë: .

Algoritmi për llogaritjen e integralit sipas formulës së Gausit parashikon jo dyfishimin e numrit të mikrosegmenteve, por rritjen e numrit të ordinatave me 1 dhe krahasimin e vlerave të marra të integralit. Avantazhi i formulës së Gausit është saktësia e lartë me një numër relativisht të vogël ordinatash. Disavantazhet: i papërshtatshëm për llogaritjet manuale; duhet të ruhet në memorien e kompjuterit t i, A i për të ndryshme n.

Gabimi i formulës së kuadraturës së Gausit në segment do të jetë në të njëjtën kohë. Për formulën e termit të mbetur do të jetë ku koeficienti α N zvogëlohet me shpejtësi me rritjen N. Këtu

Formulat e Gausit ofrojnë saktësi të lartë tashmë me një numër të vogël nyjesh (nga 4 në 10) Në këtë rast, në llogaritjet praktike, numri i nyjeve varion nga disa qindra në disa mijëra. Vëmë re gjithashtu se peshat e kuadrateve Gaussian janë gjithmonë pozitive, gjë që siguron stabilitetin e algoritmit për llogaritjen e shumave

Metoda e katrorëve më të vegjël (LSM) ju lejon të vlerësoni sasi të ndryshme duke përdorur rezultatet e shumë matjeve që përmbajnë gabime të rastësishme.

MNC karakteristike

Ideja kryesore e kësaj metode është që shuma e gabimeve në katror të konsiderohet si një kriter për saktësinë e zgjidhjes së problemit, i cili kërkohet të minimizohet. Kur përdoret kjo metodë, mund të aplikohen si përqasjet numerike ashtu edhe ato analitike.

Në veçanti, si zbatim numerik, metoda e katrorëve më të vegjël nënkupton bërjen e sa më shumë matjeve të një ndryshoreje të rastësishme të panjohur. Për më tepër, sa më shumë llogaritje, aq më e saktë do të jetë zgjidhja. Në këtë grup llogaritjesh (të dhëna fillestare), merret një grup tjetër zgjidhjesh të propozuara, nga të cilat më pas zgjidhet më e mira. Nëse grupi i zgjidhjeve është i parametrizuar, atëherë metoda e katrorëve më të vegjël do të reduktohet në gjetjen e vlerës optimale të parametrave.

Si një qasje analitike për zbatimin e LSM në grupin e të dhënave fillestare (matjet) dhe grupin e propozuar të zgjidhjeve, përkufizohen disa (funksionale), të cilat mund të shprehen me një formulë të marrë si një hipotezë e caktuar që duhet të konfirmohet. Në këtë rast, metoda e katrorëve më të vegjël reduktohet në gjetjen e minimumit të këtij funksioni në grupin e gabimeve në katror të të dhënave fillestare.

Vini re se jo vetë gabimet, por katrorët e gabimeve. Pse? Fakti është se shpesh devijimet e matjeve nga vlera e saktë janë pozitive dhe negative. Gjatë përcaktimit të mesatares, përmbledhja e thjeshtë mund të çojë në një përfundim të gabuar për cilësinë e vlerësimit, pasi anulimi i ndërsjellë i vlerave pozitive dhe negative do të zvogëlojë fuqinë e kampionimit të grupit të matjeve. Dhe, rrjedhimisht, saktësia e vlerësimit.

Për të parandaluar që kjo të ndodhë, devijimet në katror përmblidhen. Edhe më shumë se kaq, për të barazuar dimensionin e vlerës së matur dhe vlerësimin përfundimtar, shuma e gabimeve në katror përdoret për të nxjerrë

Disa aplikime të MNC-ve

MNC përdoret gjerësisht në fusha të ndryshme. Për shembull, në teorinë e probabilitetit dhe statistikat matematikore, metoda përdoret për të përcaktuar një karakteristikë të tillë të një ndryshoreje të rastësishme si devijimi standard, i cili përcakton gjerësinë e gamës së vlerave të një ndryshoreje të rastësishme.

Përafrimi i të dhënave eksperimentale është një metodë e bazuar në zëvendësimin e të dhënave të marra eksperimentalisht me një funksion analitik që kalon më së afërmi ose përkon në pikat nyje me vlerat fillestare (të dhënat e marra gjatë eksperimentit ose eksperimentit). Aktualisht ekzistojnë dy mënyra për të përcaktuar një funksion analitik:

Duke ndërtuar një polinom interpolimi me n shkallë që kalon drejtpërdrejt nëpër të gjitha pikat grup të dhënash të dhëna. Në këtë rast, funksioni i përafërt paraqitet si: një polinom interpolimi në formën e Lagranzhit ose një polinom interpolimi në formën e Njutonit.

Duke ndërtuar një polinom të përafërt me n shkallë që kalon afër pikave nga grupi i dhënë i të dhënave. Kështu, funksioni i përafërt zbut të gjitha zhurmat (ose gabimet) e rastësishme që mund të ndodhin gjatë eksperimentit: vlerat e matura gjatë eksperimentit varen nga faktorë të rastësishëm që luhaten sipas ligjeve të tyre të rastësishme (gabimet e matjes ose instrumentit, pasaktësia ose eksperimenti gabime). Në këtë rast, funksioni i përafërt përcaktohet me metodën e katrorëve më të vegjël.

Metoda me katrorin më të vogël(në literaturën angleze Ordinary Least Squares, OLS) është një metodë matematikore e bazuar në përcaktimin e një funksioni të përafërt, i cili është ndërtuar në afërsinë më të afërt me pikat nga një grup i caktuar të dhënash eksperimentale. Afërsia e funksioneve fillestare dhe të përafërta F(x) përcaktohet me një masë numerike, përkatësisht: shuma e devijimeve në katror të të dhënave eksperimentale nga kurba e përafërt F(x) duhet të jetë më e vogla.

Kurba e përshtatjes e ndërtuar me metodën e katrorëve më të vegjël

Përdoret metoda e katrorëve më të vegjël:

Të zgjidhë sisteme ekuacionesh të mbipërcaktuara kur numri i ekuacioneve tejkalon numrin e të panjohurave;

Për të kërkuar një zgjidhje në rastin e sistemeve të zakonshme (jo të mbipërcaktuara) jolineare të ekuacioneve;

Për përafrimin e vlerave të pikave me një funksion të përafërt.

Funksioni i përafrimit me metodën e katrorëve më të vegjël përcaktohet nga kushti i shumës minimale të devijimeve në katror të funksionit të përafërt të llogaritur nga një grup i caktuar të dhënash eksperimentale. Ky kriter i metodës së katrorëve më të vegjël shkruhet si shprehja e mëposhtme:

Vlerat e funksionit të përafërt të llogaritur në pikat nodale,

Grup i specifikuar i të dhënave eksperimentale në pikat nodale.

Kriteri kuadratik ka një sërë veçorish "të mira", të tilla si diferencimi, duke ofruar një zgjidhje unike për problemin e përafrimit me funksionet e përafrimit polinomial.

Në varësi të kushteve të problemit, funksioni i përafërt është një polinom i shkallës m

Shkalla e funksionit të përafërt nuk varet nga numri i pikave nodale, por dimensioni i tij duhet të jetë gjithmonë më i vogël se dimensioni (numri i pikave) të grupit të dhënë të të dhënave eksperimentale.

∙ Nëse shkalla e funksionit përafrues është m=1, atëherë funksionin e tabelës e përafrojmë me drejtëz (regresion linear).

∙ Nëse shkalla e funksionit të përafërt është m=2, atëherë funksionin e tabelës e përafrojmë me një parabolë kuadratike (përafrim kuadratik).

∙ Nëse shkalla e funksionit të përafërt është m=3, atëherë funksionin e tabelës e përafrojmë me një parabolë kubike (përafrim kub).

Në rastin e përgjithshëm, kur kërkohet të ndërtohet një polinom i përafërt i shkallës m për vlerat e dhëna tabelare, kushti për shumën minimale të devijimeve në katror mbi të gjitha pikat nyjore rishkruhet në formën e mëposhtme:

- koeficientët e panjohur të polinomit të përafërt të shkallës m;

Numri i vlerave të specifikuara të tabelës.

Një kusht i domosdoshëm për ekzistencën e një minimumi të një funksioni është barazia me zero e derivateve të tij të pjesshme në lidhje me variablat e panjohur. . Si rezultat, marrim sistemin e mëposhtëm të ekuacioneve:

Le të transformojmë sistemin linear të ekuacioneve që rezulton: hapni kllapat dhe zhvendosni termat e lirë në anën e djathtë të shprehjes. Si rezultat, sistemi rezultues i shprehjeve algjebrike lineare do të shkruhet në formën e mëposhtme:

Ky sistem i shprehjeve algjebrike lineare mund të rishkruhet në formën e matricës:

Si rezultat, u përftua një sistem ekuacionesh lineare me dimension m + 1, i cili përbëhet nga m + 1 të panjohura. Ky sistem mund të zgjidhet duke përdorur çdo metodë për zgjidhjen e ekuacioneve algjebrike lineare (për shembull, metoda e Gausit). Si rezultat i zgjidhjes do të gjenden parametra të panjohur të funksionit përafrues që sigurojnë shumën minimale të devijimeve në katror të funksionit përafrues nga të dhënat origjinale, d.m.th. përafrimi kuadratik më i mirë i mundshëm. Duhet mbajtur mend se nëse edhe një vlerë e të dhënave fillestare ndryshon, të gjithë koeficientët do të ndryshojnë vlerat e tyre, pasi ato përcaktohen plotësisht nga të dhënat fillestare.

Përafrimi i të dhënave fillestare me varësi lineare

(regresionit linear)

Si shembull, merrni parasysh metodën për përcaktimin e funksionit të përafërt, i cili është dhënë si një marrëdhënie lineare. Në përputhje me metodën e katrorëve më të vegjël, kushti për shumën minimale të devijimeve në katror shkruhet si më poshtë:

Koordinatat e pikave nyjore të tabelës;

Koeficientët e panjohur të funksionit përafrues, i cili jepet si një marrëdhënie lineare.

Një kusht i domosdoshëm për ekzistencën e një minimumi të një funksioni është barazia me zero e derivateve të tij të pjesshme në lidhje me variablat e panjohur. Si rezultat, marrim sistemin e mëposhtëm të ekuacioneve:

Le të transformojmë sistemin linear të ekuacioneve që rezulton.

Ne zgjidhim sistemin rezultues të ekuacioneve lineare. Koeficientët e funksionit të përafërt në një formë analitike përcaktohen si më poshtë (metoda e Cramer):

Këta koeficientë sigurojnë ndërtimin e një funksioni përafrues linear në përputhje me kriterin për minimizimin e shumës së katrorëve të funksionit përafrues nga vlerat e dhëna tabelare (të dhëna eksperimentale).

Algoritmi për zbatimin e metodës së katrorëve më të vegjël

1. Të dhënat fillestare:

Jepet një grup të dhënash eksperimentale me numrin e matjeve N

Është dhënë shkalla e polinomit të përafërt (m).

2. Algoritmi i llogaritjes:

2.1. Përcaktohen koeficientët për ndërtimin e një sistemi ekuacionesh me dimension

Koeficientët e sistemit të ekuacioneve (ana e majtë e ekuacionit)

- indeksi i numrit të kolonës së matricës katrore të sistemit të ekuacioneve

Anëtarët e lirë të sistemit të ekuacioneve lineare (ana e djathtë e ekuacionit)

- indeksi i numrit të rreshtit të matricës katrore të sistemit të ekuacioneve

2.2. Formimi i një sistemi ekuacionesh lineare me dimension .

2.3. Zgjidhja e një sistemi ekuacionesh lineare për të përcaktuar koeficientët e panjohur të polinomit të përafërt të shkallës m.

2.4 Përcaktimi i shumës së devijimeve në katror të polinomit të përafërt nga vlerat fillestare mbi të gjitha pikat nyjore

Vlera e gjetur e shumës së devijimeve në katror është minimumi i mundshëm.

Përafrimi me funksione të tjera

Duhet të theksohet se kur përafrohen të dhënat fillestare në përputhje me metodën e katrorëve më të vegjël, një funksion logaritmik, një funksion eksponencial dhe një funksion fuqie përdoren ndonjëherë si funksion përafrues.

Përafrimi i regjistrit

Konsideroni rastin kur funksioni i përafërt jepet nga një funksion logaritmik i formës:

Metoda me katrorin më të vogël

Metoda me katrorin më të vogël ( MNK, OLS, Sheshet më të vogla të zakonshme) - një nga metodat bazë të analizës së regresionit për vlerësimin e parametrave të panjohur të modeleve të regresionit nga të dhënat e mostrës. Metoda bazohet në minimizimin e shumës së katrorëve të mbetjeve të regresionit.

Duhet të theksohet se vetë metoda e katrorëve më të vegjël mund të quhet metodë për zgjidhjen e një problemi në çdo fushë, nëse zgjidhja përbëhet ose plotëson një kriter të caktuar për minimizimin e shumës së katrorëve të disa funksioneve të ndryshoreve të panjohura. Prandaj, metoda e katrorëve më të vegjël mund të përdoret gjithashtu për një paraqitje të përafërt (përafrim) të një funksioni të caktuar me funksione të tjera (më të thjeshta), kur gjendet një grup sasish që plotësojnë ekuacionet ose kufizimet, numri i të cilave e kalon numrin e këtyre sasive. , etj.

Thelbi i MNC

Lëreni një model (parametrik) të varësisë probabilistike (regresioni) midis ndryshores (e shpjeguar) y dhe shumë faktorë (variabla shpjegues) x

ku është vektori i parametrave të modelit të panjohur

- Gabim i rastësishëm i modelit.

Le të ketë gjithashtu vëzhgime të mostrave të vlerave të variablave të treguar. Le të jetë numri i vëzhgimit (). Pastaj janë vlerat e variablave në vëzhgimin e -të. Pastaj, për vlerat e dhëna të parametrave b, është e mundur të llogariten vlerat teorike (modele) të ndryshores së shpjeguar y:

Vlera e mbetjeve varet nga vlerat e parametrave b.

Thelbi i LSM (i zakonshëm, klasik) është gjetja e parametrave të tillë b për të cilët shuma e katrorëve të mbetjeve (eng. Shuma e mbetur e katrorëve) do të jetë minimale:

Në rastin e përgjithshëm, ky problem mund të zgjidhet me metoda numerike të optimizimit (minimizimit). Në këtë rast, flitet për katrorët më të vegjël jolinearë(NLS ose NLLS - Anglisht. Katrore më të vogla jo lineare). Në shumë raste, mund të merret një zgjidhje analitike. Për të zgjidhur problemin e minimizimit, është e nevojshme të gjenden pikat stacionare të funksionit duke e diferencuar atë në lidhje me parametrat e panjohur b, duke barazuar derivatet me zero dhe duke zgjidhur sistemin e ekuacioneve që rezulton:

Nëse gabimet e rastësishme të modelit shpërndahen normalisht, kanë të njëjtën variancë dhe nuk janë të ndërlidhura me njëri-tjetrin, vlerësimet e parametrave të katrorëve më të vegjël janë të njëjta me vlerësimet e metodës së gjasave maksimale (MLM).

LSM në rastin e një modeli linear

Le të jetë lineare varësia e regresionit:

Le y- vektori i kolonës së vëzhgimeve të ndryshores së shpjeguar, dhe - matrica e vëzhgimeve të faktorëve (rreshtat e matricës - vektorët e vlerave të faktorëve në një vëzhgim të caktuar, sipas kolonave - vektori i vlerave të një faktori të caktuar në të gjitha vëzhgimet) . Paraqitja matricore e modelit linear ka formën:

Atëherë vektori i vlerësimeve të variablit të shpjeguar dhe vektori i mbetjeve të regresionit do të jetë i barabartë me

në përputhje me rrethanat, shuma e katrorëve të mbetjeve të regresionit do të jetë e barabartë me

Duke e diferencuar këtë funksion në lidhje me vektorin e parametrave dhe duke barazuar derivatet me zero, marrim një sistem ekuacionesh (në formë matrice):

Zgjidhja e këtij sistemi ekuacionesh jep formulën e përgjithshme për vlerësimet e katrorëve më të vegjël për modelin linear:

Për qëllime analitike, paraqitja e fundit e kësaj formule rezulton të jetë e dobishme. Nëse të dhënat në modelin e regresionit të përqendruar, atëherë në këtë paraqitje matrica e parë ka kuptimin e matricës së mostrës së kovariancës së faktorëve, dhe e dyta është vektori i kovariancave të faktorëve me variabël të varur. Nëse, përveç kësaj, të dhënat janë gjithashtu normalizuar në SKO (d.m.th., në fund të fundit të standardizuara), atëherë matrica e parë ka kuptimin e matricës së korrelacionit të mostrës së faktorëve, vektori i dytë - vektori i korrelacioneve të mostrës së faktorëve me variablin e varur.

Një veti e rëndësishme e vlerësimeve LLS për modelet me një konstante- vija e regresionit të ndërtuar kalon nëpër qendrën e gravitetit të të dhënave të mostrës, domethënë përmbushet barazia:

Në veçanti, në rastin ekstrem kur regresori i vetëm është një konstante, gjejmë se vlerësimi OLS i një parametri të vetëm (vetë konstanta) është i barabartë me vlerën mesatare të ndryshores që shpjegohet. Kjo do të thotë, mesatarja aritmetike, e njohur për vetitë e saj të mira nga ligjet e numrave të mëdhenj, është gjithashtu një vlerësim i katrorëve më të vegjël - ai plotëson kriterin për shumën minimale të devijimeve në katror prej tij.

Shembull: regresion i thjeshtë (në çift).

Në rastin e regresionit linear të çiftuar, formulat e llogaritjes janë thjeshtuar (mund të bëni pa algjebër matricë):

Vetitë e vlerësimeve të OLS

Para së gjithash, vërejmë se për modelet lineare, vlerësimet e katrorëve më të vegjël janë vlerësime lineare, siç vijon nga formula e mësipërme. Për vlerësimet e paanshme OLS, është e nevojshme dhe e mjaftueshme të përmbushet kushti më i rëndësishëm i analizës së regresionit: pritshmëria matematikore e një gabimi të rastësishëm të kushtëzuar nga faktorët duhet të jetë e barabartë me zero. Ky kusht plotësohet, veçanërisht nëse

pritshmëria matematikore e gabimeve të rastësishme është zero, dhe
faktorët dhe gabimet e rastësishme janë variabla të rastësishme të pavarura.

Kushti i dytë - gjendja e faktorëve ekzogjenë - është thelbësor. Nëse kjo pronë nuk është e kënaqur, atëherë mund të supozojmë se pothuajse çdo vlerësim do të jetë jashtëzakonisht i pakënaqshëm: ato as nuk do të jenë të qëndrueshme (d.m.th., edhe një sasi shumë e madhe e të dhënave nuk lejon marrjen e vlerësimeve cilësore në këtë rast). Në rastin klasik, bëhet një supozim më i fortë për determinizmin e faktorëve, në ndryshim nga një gabim i rastësishëm, që automatikisht do të thotë se kushti ekzogjen është i plotësuar. Në rastin e përgjithshëm, për konsistencën e vlerësimeve, mjafton të plotësohet kushti i ekzogjenitetit së bashku me konvergjencën e matricës me një matricë jo të vetme me një rritje të madhësisë së mostrës deri në pafundësi.

Në mënyrë që, përveç konsistencës dhe paanshmërisë, vlerësimet e LSM (të zakonshme) të jenë gjithashtu efektive (më të mirat në klasën e vlerësimeve lineare të paanshme), është e nevojshme të plotësohen vetitë shtesë të një gabimi të rastësishëm:

Këto supozime mund të formulohen për matricën e kovariancës së vektorit të gabimit të rastësishëm

Një model linear që plotëson këto kushte quhet klasike. Vlerësuesit e katrorëve më të vegjël për regresionin linear klasik janë vlerësues të paanshëm, të qëndrueshëm dhe më efikas në klasën e të gjithë vlerësuesve linearë të paanshëm (shkurtesa blu (Vlerësuesi më i mirë linear i pabazuar) është vlerësimi më i mirë linear i paanshëm; në literaturën vendase, më shpesh citohet teorema Gauss-Markov). Siç është e lehtë të tregohet, matrica e kovariancës së vektorit të vlerësimit të koeficientit do të jetë e barabartë me:

Katroret më të vegjël të përgjithësuar

Metoda e katrorëve më të vegjël lejon një përgjithësim të gjerë. Në vend që të minimizohet shuma e katrorëve të mbetjeve, mund të minimizohet një formë kuadratike pozitive e caktuar e vektorit të mbetur, ku është një matricë simetrike pozitive e peshës së caktuar. Katroret më të vegjël të zakonshëm janë një rast i veçantë i kësaj qasjeje, kur matrica e peshës është proporcionale me matricën e identitetit. Siç dihet nga teoria e matricave (ose operatorëve) simetrike, ka një dekompozim për matrica të tilla. Prandaj, funksioni i specifikuar mund të përfaqësohet si më poshtë, domethënë, ky funksional mund të përfaqësohet si shuma e katrorëve të disa "mbetjeve" të transformuara. Kështu, ne mund të dallojmë një klasë të metodave të katrorëve më të vegjël - metodat LS (Katroret më të vegjël).

Është vërtetuar (teorema e Aitken) se për një model të përgjithësuar të regresionit linear (në të cilin nuk vendosen kufizime në matricën e kovariancës së gabimeve të rastit), më efektive (në klasën e vlerësimeve lineare të paanshme) janë vlerësimet e të ashtuquajturave. OLS e përgjithësuar (OMNK, GLS - katrorët më të vegjël të përgjithësuar)- Metoda LS me matricë peshe të barabartë me matricën e kovariancës së anasjelltë të gabimeve të rastit: .

Mund të tregohet se formula për GLS-vlerësimet e parametrave të modelit linear ka formën

Matrica e kovariancës së këtyre vlerësimeve, përkatësisht, do të jetë e barabartë me

Në fakt, thelbi i OLS qëndron në një transformim të caktuar (linear) (P) të të dhënave origjinale dhe aplikimin e katrorëve më të vegjël të zakonshëm në të dhënat e transformuara. Qëllimi i këtij transformimi është që për të dhënat e transformuara, gabimet e rastësishme tashmë plotësojnë supozimet klasike.

Sheshet më të vogla të peshuara

Në rastin e një matrice të peshës diagonale (dhe rrjedhimisht matricës së kovariancës së gabimeve të rastit), kemi të ashtuquajturat katrorët më të vegjël të ponderuar (WLS - Katroret më të vogla të ponderuara). Në këtë rast, shuma e ponderuar e katrorëve të mbetjeve të modelit minimizohet, domethënë çdo vëzhgim merr një "peshë" që është në përpjesëtim të zhdrejtë me variancën e gabimit të rastit në këtë vëzhgim: . Në fakt, të dhënat transformohen duke peshuar vëzhgimet (duke pjesëtuar me një sasi proporcionale me devijimin standard të supozuar të gabimeve të rastit), dhe katrorët më të vegjël normalë aplikohen në të dhënat e ponderuara.

Disa raste të veçanta të aplikimit të LSM në praktikë

Përafrim linear

Merrni parasysh rastin kur, si rezultat i studimit të varësisë së një sasie të caktuar skalare nga një sasi e caktuar skalare (Kjo mund të jetë, për shembull, varësia e tensionit nga forca aktuale: , ku është një vlerë konstante, rezistenca e përcjellësit ), u matën këto sasi, si rezultat i të cilave vlerat dhe vlerat e tyre përkatëse. Të dhënat e matjes duhet të regjistrohen në një tabelë.

Tabela. Rezultatet e matjes.

Matja Nr.
1
2
3
4
5
6

Pyetja tingëllon si kjo: cila vlerë e koeficientit mund të zgjidhet për të përshkruar më së miri varësinë? Sipas katrorëve më të vegjël, kjo vlerë duhet të jetë e tillë që shuma e devijimeve në katror të vlerave nga vlerat

ishte minimale

Shuma e devijimeve në katror ka një ekstrem - një minimum, i cili na lejon të përdorim këtë formulë. Le të gjejmë vlerën e koeficientit nga kjo formulë. Për ta bërë këtë, ne transformojmë anën e saj të majtë si më poshtë:

Formula e fundit na lejon të gjejmë vlerën e koeficientit , i cili kërkohej në problem.

Histori

Deri në fillim të shekullit XIX. shkencëtarët nuk kishin rregulla të caktuara për zgjidhjen e një sistemi ekuacionesh në të cilin numri i të panjohurave është më i vogël se numri i ekuacioneve; Deri në atë kohë përdoreshin metoda të veçanta, varësisht nga lloji i ekuacioneve dhe nga zgjuarsia e kalkulatorëve, dhe për këtë arsye kalkulatorë të ndryshëm, duke u nisur nga të njëjtat të dhëna vëzhguese, dolën në përfundime të ndryshme. Gauss (1795) vlerësohet me aplikimin e parë të metodës, dhe Lezhandre (1805) në mënyrë të pavarur e zbuloi dhe e publikoi atë me emrin e tij modern (fr. Method des moindres quarres ) . Laplace e lidhi metodën me teorinë e probabilitetit, dhe matematikani amerikan Adrain (1808) shqyrtoi aplikimet e saj probabilistike. Metoda është e përhapur dhe e përmirësuar nga kërkimet e mëtejshme nga Encke, Bessel, Hansen dhe të tjerë.

Përdorimi alternativ i MNC-ve

Ideja e metodës së katrorëve më të vegjël mund të përdoret edhe në raste të tjera që nuk lidhen drejtpërdrejt me analizën e regresionit. Fakti është se shuma e katrorëve është një nga matjet më të zakonshme të afërsisë për vektorët (metrika Euklidiane në hapësirat me dimensione të fundme).

Një aplikim është "zgjidhja" e sistemeve të ekuacioneve lineare në të cilat numri i ekuacioneve është më i madh se numri i ndryshoreve.

ku matrica nuk është katrore, por drejtkëndore.

Një sistem i tillë ekuacionesh, në rastin e përgjithshëm, nuk ka zgjidhje (nëse rangu është në të vërtetë më i madh se numri i ndryshoreve). Prandaj, ky sistem mund të "zgjidhet" vetëm në kuptimin e zgjedhjes së një vektori të tillë në mënyrë që të minimizohet "distanca" midis vektorëve dhe . Për ta bërë këtë, mund të aplikoni kriterin për minimizimin e shumës së diferencave në katror të pjesëve të majta dhe të djathta të ekuacioneve të sistemit, domethënë . Është e lehtë të tregohet se zgjidhja e këtij problemi të minimizimit çon në zgjidhjen e sistemit të mëposhtëm të ekuacioneve