Същността на метода на най-малките квадрати е. Къде се прилага методът на най-малките квадрати? Примери за решаване на задачи по метода на най-малките квадрати

Има много приложения, тъй като позволява приблизително представяне на дадена функция от други по-прости. LSM може да бъде изключително полезен при обработката на наблюдения и се използва активно за оценка на някои количества от резултатите от измервания на други, съдържащи случайни грешки. В тази статия ще научите как да прилагате изчисления на най-малките квадрати в Excel.

Постановка на проблема на конкретен пример

Да предположим, че има два индикатора X и Y. Освен това Y зависи от X. Тъй като OLS представлява интерес за нас от гледна точка на регресионния анализ (в Excel неговите методи се изпълняват с помощта на вградени функции), трябва незабавно да продължим за разглеждане на конкретен проблем.

И така, нека X е търговската площ на магазин за хранителни стоки, измерена в квадратни метри, а Y е годишният оборот, определен в милиони рубли.

Изисква се да се направи прогноза какъв оборот (Y) ще има магазинът, ако има една или друга търговска площ. Очевидно функцията Y = f (X) нараства, тъй като хипермаркетът продава повече стоки от щанда.

Няколко думи за коректността на първоначалните данни, използвани за прогнозиране

Да кажем, че имаме изградена таблица с данни за n магазина.

Според математическата статистика резултатите ще бъдат повече или по-малко верни, ако се изследват данните за поне 5-6 обекта. Освен това не могат да се използват "аномални" резултати. По-специално, елитен малък бутик може да има оборот многократно по-голям от оборота на големите магазини от класа „masmarket“.

Същността на метода

Данните от таблицата могат да бъдат показани в декартовата равнина като точки M 1 (x 1, y 1), ... M n (x n, y n). Сега решението на задачата ще се сведе до избора на апроксимираща функция y = f (x), която има графика, минаваща възможно най-близо до точките M 1, M 2, .. M n .

Разбира се, можете да използвате полином с висока степен, но тази опция е не само трудна за изпълнение, но и просто неправилна, тъй като няма да отразява основната тенденция, която трябва да бъде открита. Най-разумното решение е да се търси права линия y = ax + b, която най-добре приближава експерименталните данни и по-точно коефициентите - a и b.

Резултат за точност

За всяка апроксимация оценката на нейната точност е от особено значение. Означаваме с e i разликата (отклонението) между функционалните и експерименталните стойности за точката x i, т.е. e i = y i - f (x i).

Очевидно е, че за да оцените точността на приближението, можете да използвате сумата от отклонения, т.е. когато избирате права линия за приблизително представяне на зависимостта на X от Y, трябва да се даде предпочитание на тази, която има най-малката стойност на сумата e i във всички разглеждани точки. Не всичко обаче е толкова просто, тъй като наред с положителните отклонения на практика ще има отрицателни.

Можете да решите проблема, като използвате модулите за отклонение или техните квадрати. Последният метод е най-широко използван. Използва се в много области, включително регресионен анализ (в Excel внедряването му се извършва с помощта на две вградени функции) и отдавна е доказано, че е ефективен.

Метод на най-малките квадрати

В Excel, както знаете, има вградена функция за автоматично събиране, която ви позволява да изчислявате стойностите на всички стойности, разположени в избрания диапазон. Така нищо няма да ни попречи да изчислим стойността на израза (e 1 2 + e 2 2 + e 3 2 + ... e n 2).

В математическа нотация това изглежда така:

Тъй като първоначално беше взето решение за приблизително използване на права линия, имаме:

По този начин задачата за намиране на права линия, която най-добре описва специфична връзка между X и Y, се свежда до изчисляване на минимума на функция от две променливи:

Това изисква приравняване на нула частни производни по отношение на нови променливи a и b и решаване на примитивна система, състояща се от две уравнения с 2 неизвестни от вида:

След прости трансформации, включително деление на 2 и манипулиране на сумите, получаваме:

Решавайки го, например, по метода на Крамер, получаваме стационарна точка с определени коефициенти a * и b * . Това е минимумът, т.е., за да се предвиди какъв оборот ще има магазинът за определен район, е подходяща правата линия y = a * x + b *, която е регресионен модел за въпросния пример. Разбира се, това няма да ви позволи да намерите точния резултат, но ще ви помогне да получите представа дали закупуването на магазин на кредит за определен район ще се изплати.

Как да приложим метода на най-малките квадрати в Excel

Excel има функция за изчисляване на стойността на най-малките квадрати. Има следната форма: ТЕНДЕНЦИЯ (известни Y стойности; известни X стойности; нови X стойности; константа). Нека приложим формулата за изчисляване на OLS в Excel към нашата таблица.

За да направите това, в клетката, в която трябва да се покаже резултатът от изчислението по метода на най-малките квадрати в Excel, въведете знака "=" и изберете функцията "TREND". В прозореца, който се отваря, попълнете съответните полета, като маркирате:

• диапазон от известни стойности за Y (в този случай данни за оборот);
• диапазон x 1 , …x n , т.е. размерът на търговската площ;
• и известни и неизвестни стойности на x, за които трябва да разберете размера на оборота (за информация относно тяхното местоположение в работния лист вижте по-долу).

Освен това във формулата има логическа променлива "Const". Ако въведете 1 в полето, съответстващо на него, това ще означава, че трябва да се извършат изчисления, като се приеме, че b \u003d 0.

Ако трябва да знаете прогнозата за повече от една стойност x, тогава след въвеждане на формулата не трябва да натискате "Enter", а трябва да въведете комбинацията "Shift" + "Control" + "Enter" ("Enter" ) на клавиатурата.

Някои функции

Регресионният анализ може да бъде достъпен дори за манекени. Формулата на Excel за прогнозиране на стойността на масив от неизвестни променливи - "TREND" - може да се използва дори от тези, които никога не са чували за метода на най-малките квадрати. Достатъчно е само да знаете някои характеристики на работата му. В частност:

• Ако поставите диапазона от известни стойности на променливата y в един ред или колона, тогава всеки ред (колона) с известни стойности на x ще се възприема от програмата като отделна променлива.
• Ако диапазонът с известен x не е посочен в прозореца TREND, тогава в случай на използване на функцията в Excel, програмата ще го разглежда като масив, състоящ се от цели числа, чийто брой съответства на диапазона с дадените стойности на променливата y.
• За да изведете масив от „предсказани“ стойности, изразът на тренда трябва да бъде въведен като формула за масив.
• Ако не са посочени нови x стойности, тогава функцията TREND ги счита за равни на известните. Ако те не са посочени, тогава масив 1 се приема като аргумент; 2; 3; 4;…, което е съизмеримо с диапазона с вече зададени параметри y.
• Диапазонът, съдържащ новите x стойности, трябва да има същите или повече редове или колони като диапазона с дадените y стойности. С други думи, трябва да е пропорционален на независимите променливи.
• Масив с известни x стойности може да съдържа множество променливи. Ако обаче говорим само за един, тогава се изисква диапазоните с дадените стойности на x и y да са съизмерими. В случай на няколко променливи е необходимо диапазонът с дадените стойности на y да се побере в една колона или един ред.

Функция ПРОГНОЗА

Реализира се с помощта на няколко функции. Една от тях се нарича „ПРЕДСКАЗАНЕ“. Той е подобен на TREND, т.е. дава резултат от изчисления, използвайки метода на най-малките квадрати. Но само за един X, за който стойността на Y е неизвестна.

Вече знаете формулите на Excel за манекени, които ви позволяват да предскажете стойността на бъдещата стойност на индикатор според линейна тенденция.

Проблемът е да се намерят коефициентите на линейна зависимост, за които функцията на две променливи АИ bприема най-малката стойност. Това е предвид данните АИ bсумата от квадратите на отклоненията на експерименталните данни от намерената права линия ще бъде най-малка. Това е целият смисъл на метода на най-малките квадрати.

Така решението на примера се свежда до намиране на екстремума на функция на две променливи.

Извеждане на формули за намиране на коефициенти.Съставя се и се решава система от две уравнения с две неизвестни. Намиране на частни производни на функции по променливи АИ b, ние приравняваме тези производни на нула.

Ние решаваме получената система от уравнения по произволен метод (например метод на заместване или метод на Крамер) и получаваме формули за намиране на коефициентите, използвайки метода на най-малките квадрати (LSM).

С данни АИ bфункция приема най-малката стойност.

Това е целият метод на най-малките квадрати. Формула за намиране на параметъра асъдържа сумите , , , и параметъра н- количество експериментални данни. Стойностите на тези суми се препоръчват да се изчисляват отделно. Коефициент bнамерени след изчисление а.

Основната област на приложение на такива полиноми е обработката на експериментални данни (изграждане на емпирични формули). Факт е, че интерполационният полином, конструиран от стойностите на функцията, получена с помощта на експеримента, ще бъде силно повлиян от "експериментален шум", освен това, по време на интерполация, интерполационните възли не могат да бъдат повторени, т.е. не можете да използвате резултатите от повторни експерименти при едни и същи условия. Средноквадратичният полином изглажда шума и прави възможно използването на резултатите от множество експерименти.

Числено интегриране и диференциране. Пример.

Числено интегриране- изчисляване на стойността на определен интеграл (като правило, приблизителен). Численото интегриране се разбира като набор от числени методи за намиране на стойността на определен интеграл.

Числено диференциране– набор от методи за изчисляване на стойността на производната на дискретно зададена функция.

Интеграция

Формулиране на проблема.Математическа постановка на проблема: необходимо е да се намери стойността на определен интеграл

където a, b са крайни, f(x) е непрекъснат върху [а, b].

При решаване на практически задачи често се случва интегралът да е неудобен или невъзможен за аналитично приемане: той може да не се изрази в елементарни функции, интеграндът може да се даде под формата на таблица и т.н. В такива случаи методите за числено интегриране са използвани. Методите за числено интегриране използват замяната на площта на криволинейния трапец с крайна сума от площи на по-прости геометрични форми, които могат да бъдат точно изчислени. В този смисъл се говори за използването на квадратурни формули.

Повечето методи използват представянето на интеграла като крайна сума (квадратурна формула):

Квадратурните формули се основават на идеята за замяна на графиката на интегранта върху интервала на интегриране с функции с по-проста форма, които могат лесно да бъдат интегрирани аналитично и по този начин лесно изчислени. Най-простата задача за конструиране на квадратурни формули се реализира за полиномиални математически модели.

Могат да се разграничат три групи методи:

1. Метод с разделяне на сегмента на интегриране на равни интервали. Разделянето на интервали се извършва предварително, като обикновено интервалите се избират равни (за да се улесни изчисляването на функцията в краищата на интервалите). Изчислете площи и ги сумирайте (методи на правоъгълници, трапец, Симпсън).

2. Методи с разделяне на сегмента на интегриране с помощта на специални точки (метод на Гаус).

3. Изчисляване на интеграли с помощта на случайни числа (метод Монте Карло).

Правоъгълен метод.Нека функцията (чертеж) се интегрира числено върху отсечката . Разделяме сегмента на N равни интервала. Площта на всеки от N криволинейни трапеца може да бъде заменена с площта на правоъгълник.

Ширината на всички правоъгълници е еднаква и равна на:

Като избор на височина на правоъгълниците можете да изберете стойността на функцията на лявата граница. В този случай височината на първия правоъгълник ще бъде f(a), на втория ще бъде f(x 1),…, N-f(N-1).

Ако вземем стойността на функцията на дясната граница като избор на височина на правоъгълника, тогава в този случай височината на първия правоъгълник ще бъде f (x 1), на втория - f (x 2), . .., N - f (x N).

Както се вижда, в този случай една от формулите дава приближение на интеграла с излишък, а втората с дефицит. Има и друг начин - да се използва стойността на функцията в средата на интеграционния сегмент за приближение:

Оценка на абсолютната грешка на метода на правоъгълниците (среда)

Оценка на абсолютната грешка на методите на левия и десния правоъгълник.

Пример.Изчислете за целия интервал и разделете интервала на четири секции

Решение.Аналитичното изчисляване на този интеграл дава I=arctg(1)–arctg(0)=0,7853981634. В нашия случай:

1) h = 1; xo = 0; x1 = 1;

2) h = 0,25 (1/4); x0 = 0; x1 = 0,25; х2 = 0,5; х3 = 0,75; x4 = 1;

Изчисляваме по метода на левите правоъгълници:

Изчисляваме по метода на прави правоъгълници:

Изчислете по метода на средните правоъгълници:

Трапецовиден метод.Използването на полином от първа степен за интерполация (права линия, прекарана през две точки) води до формулата на трапеца. Краищата на интеграционния сегмент се приемат като интерполационни възли. По този начин криволинейният трапец се заменя с обикновен трапец, чиято площ може да се намери като произведение на половината от сумата на основите и височината

В случай на N сегмента на интегриране за всички възли, с изключение на крайните точки на сегмента, стойността на функцията ще бъде включена в общата сума два пъти (тъй като съседните трапеци имат една обща страна)

Формулата на трапеца може да се получи, като се вземе половината от сумата на формулите на правоъгълника по десния и левия ръб на сегмента:

Проверка на стабилността на разтвора.Като правило колкото по-къса е дължината на всеки интервал, т.е. колкото по-голям е броят на тези интервали, толкова по-малка е разликата между приблизителните и точните стойности на интеграла. Това важи за повечето функции. При метода на трапеца грешката при изчисляване на интеграла ϭ е приблизително пропорционална на квадрата на стъпката на интегриране (ϭ ~ h 2).По този начин, за да се изчисли интегралът на определена функция в границите a, b, е необходимо да разделете сегмента на N 0 интервала и намерете сумата от площите на трапеца. След това трябва да увеличите броя на интервалите N 1, отново да изчислите сумата на трапеца и да сравните получената стойност с предишния резултат. Това трябва да се повтаря до (N i), докато се достигне определената точност на резултата (критерий за конвергенция).

За методите на правоъгълник и трапец, обикновено при всяка стъпка на итерация, броят на интервалите се увеличава с фактор 2 (N i +1 =2N i).

Критерий за конвергенция:

Основното предимство на правилото за трапец е неговата простота. Въпреки това, ако интегрирането изисква висока точност, този метод може да изисква твърде много итерации.

Абсолютна грешка на метода на трапецаоценен като
.

Пример.Изчислете приблизително определен интеграл, като използвате формулата на трапеца.

а) Разделяне на интеграционния сегмент на 3 части.
б) Разделяне на сегмента на интеграция на 5 части.

Решение:
а) По условие интеграционният сегмент трябва да бъде разделен на 3 части, т.е.
Изчислете дължината на всеки сегмент от дяла: .

Така общата формула на трапеца се свежда до приятен размер:

Накрая:

Напомням ви, че получената стойност е приблизителна стойност на площта.

б) Разделяме интеграционния сегмент на 5 равни части, т.е. чрез увеличаване на броя на сегментите, ние повишаваме точността на изчисленията.

Ако , тогава формулата на трапеца приема следната форма:

Нека намерим стъпката на разделяне:
, тоест дължината на всеки междинен сегмент е 0,6.

Когато завършите задачата, е удобно да съставите всички изчисления с изчислителна таблица:

В първия ред пишем "брояч"

Като резултат:

Е, наистина има уточнение и то сериозно!
Ако за 3 сегмента на преградата, то за 5 сегмента. Ако вземете още повече сегмент => ще бъде още по-точно.

Формула на Симпсън.Формулата на трапеца дава резултат, който силно зависи от размера на стъпката h, което влияе върху точността на изчисляване на определен интеграл, особено в случаите, когато функцията е немонотонна. Може да се предположи повишаване на точността на изчисленията, ако вместо сегменти от прави линии, заместващи криволинейните фрагменти от графиката на функцията f (x), използваме например фрагменти от параболи, дадени през три съседни точки на графиката . Подобна геометрична интерпретация е в основата на метода на Симпсън за изчисляване на определения интеграл. Целият интеграционен интервал a,b е разделен на N сегмента, дължината на сегмента също ще бъде равна на h=(b-a)/N.

Формулата на Симпсън е:

остатъчен срок

С увеличаване на дължината на сегментите, точността на формулата намалява, следователно, за да се увеличи точността, се използва съставната формула на Симпсън. Целият интеграционен интервал е разделен на четен брой еднакви сегменти N, дължината на сегмента също ще бъде равна на h=(b-a)/N. Съставната формула на Симпсън е:

Във формулата изразите в скоби са сумите от стойностите на интегранд, съответно в краищата на нечетните и четните вътрешни сегменти.

Остатъкът от формулата на Симпсън вече е пропорционален на четвъртата степен на стъпката:

Пример:Изчислете интеграла, като използвате правилото на Симпсън. (Точно решение - 0,2)

Метод на Гаус

Квадратурна формула на Гаус. Основният принцип на квадратурните формули от второто разнообразие се вижда от Фигура 1.12: необходимо е да поставите точките по такъв начин х 0 и х 1 вътре в сегмента [ а;b], така че площите на "триъгълниците" общо да са равни на площите на "отсечката". Когато използвате формулата на Гаус, началният сегмент [ а;b] се редуцира до интервала [-1;1] чрез промяна на променливата хНа

0.5∙(b– а)∙T+ 0.5∙(b + а).

Тогава , Където .

Това заместване е възможно, ако аИ bса крайни, а функцията f(х) е непрекъснат на [ а;b]. Формула на Гаус за нточки x i, аз=0,1,..,н-1 вътре в сегмента [ а;b]:

, (1.27)

Където t iИ Aiза различни нса дадени в справочници. Например, когато н=2 А 0 =А 1=1; при н=3: T 0 =t 2" 0,775, T 1 =0, А 0 =А 2" 0,555, А 1" 0,889.

Квадратурна формула на Гаус

получена с тегловна функция, равна на единица p(x)= 1 и възли x i, които са корените на полиномите на Лежандро

Коефициенти Aiлесно се изчислява по формули

аз=0,1,2,...н.

Стойностите на възлите и коефициентите за n=2,3,4,5 са дадени в таблицата

Поръчка	Възли	Коефициенти
н=2	х 1=0 x 0 =-x2=0.7745966692	A 1=8/9 A 0 = A 2=5/9
н=3	x 2 =-х 1=0.3399810436 x 3 =-x0=0.8611363116	A 1 = A 2=0.6521451549 A 0 = A 3=0.6521451549
n=4	х 2 = 0 х 3 = -х 1 = 0.5384693101 х 4 =-х 0 =0.9061798459	А 0 =0.568888899 А 3 =А 1 =0.4786286705 А 0 =А 4 =0.2869268851
н=5	х 5 = -х 0 =0.9324695142 х 4 = -х 1 =0.6612093865 х 3 = -х 2 =0.2386191861	А 5 =А 0 =0.1713244924 А 4 =А 1 =0.3607615730 А 3 =А 2 =0.4679139346

Пример.Изчислете стойността, като използвате формулата на Гаус за н=2:

Точна стойност: .

Алгоритъмът за изчисляване на интеграла по формулата на Гаус предвижда не удвояване на броя на микросегментите, а увеличаване на броя на ординатите с 1 и сравняване на получените стойности на интеграла. Предимството на формулата на Гаус е висока точност при сравнително малък брой ординати. Недостатъци: неудобен за ръчни изчисления; трябва да се съхранява в паметта на компютъра t i, Aiза различни н.

Грешката на квадратурната формула на Гаус върху сегмента ще бъде в същото време За формулата на остатъчния член ще бъде където коефициентът α ннамалява бързо с растежа н. Тук

Формулите на Гаус осигуряват висока точност вече с малък брой възли (от 4 до 10).В този случай при практически изчисления броят на възлите варира от няколкостотин до няколко хиляди. Също така отбелязваме, че теглата на гаусовите квадратури винаги са положителни, което гарантира стабилността на алгоритъма за изчисляване на сумите

Методът на най-малките квадрати (LSM) ви позволява да оценявате различни количества, като използвате резултатите от много измервания, съдържащи случайни грешки.

Характеристика на МНК

Основната идея на този метод е, че сумата от квадратите на грешките се разглежда като критерий за точността на решението на задачата, която се стреми да бъде минимизирана. При използването на този метод могат да се прилагат както числени, така и аналитични подходи.

По-специално, като числена реализация, методът на най-малките квадрати предполага извършване на възможно най-много измервания на неизвестна случайна променлива. Освен това, колкото повече изчисления, толкова по-точно ще бъде решението. На този набор от изчисления (първоначални данни) се получава друг набор от предложени решения, от които след това се избира най-доброто. Ако наборът от решения е параметризиран, тогава методът на най-малките квадрати ще бъде намален до намиране на оптималната стойност на параметрите.

Като аналитичен подход за прилагане на LSM върху множеството от първоначални данни (измервания) и предложеното множество от решения се определя някои (функционални), които могат да бъдат изразени чрез формула, получена като определена хипотеза, която трябва да бъде потвърдена. В този случай методът на най-малките квадрати се свежда до намиране на минимума на този функционал върху набор от квадратни грешки на първоначалните данни.

Имайте предвид, че не самите грешки, а квадратите на грешките. Защо? Факт е, че често отклоненията на измерванията от точната стойност са както положителни, така и отрицателни. При определяне на средната стойност простото сумиране може да доведе до неправилно заключение за качеството на оценката, тъй като взаимното отмяна на положителни и отрицателни стойности ще намали мощността на вземане на проби от набора от измервания. И, следователно, точността на оценката.

За да не се случи това, квадратите на отклоненията се сумират. Дори повече от това, за да се изравни размерността на измерената стойност и крайната оценка, сумата от квадратите на грешките се използва за извличане

Някои приложения на MNC

MNC се използва широко в различни области. Например в теорията на вероятностите и математическата статистика методът се използва за определяне на такава характеристика на случайна променлива като стандартното отклонение, което определя ширината на диапазона от стойности на случайната променлива.

Апроксимацията на експериментални данни е метод, основан на замяната на експериментално получени данни с аналитична функция, която най-близо преминава или съвпада в възловите точки с първоначалните стойности (данни, получени по време на експеримента или експеримента). Понастоящем има два начина за дефиниране на аналитична функция:

Чрез конструиране на интерполационен полином от n степен, който преминава директно през всички точкидаден масив от данни. В този случай апроксимиращата функция се представя като: интерполационен полином във формата на Лагранж или интерполационен полином във формата на Нютон.

Чрез конструиране на апроксимиращ полином от n-степен, който преминава близо до точкиот дадения масив от данни. По този начин апроксимиращата функция изглажда всички произволни шумове (или грешки), които могат да възникнат по време на експеримента: измерените стойности по време на експеримента зависят от случайни фактори, които се колебаят според собствените си случайни закони (измервания или грешки на инструмента, неточност или експериментални грешки). В този случай апроксимиращата функция се определя по метода на най-малките квадрати.

Метод на най-малките квадрати(в англоезичната литература Ordinary Least Squares, OLS) е математически метод, базиран на дефинирането на апроксимираща функция, която се изгражда в най-близка близост до точки от даден масив от експериментални данни. Близостта на началната и апроксимиращата функция F(x) се определя от числена мярка, а именно: сумата от квадратите на отклоненията на експерименталните данни от апроксимиращата крива F(x) трябва да бъде най-малка.

Фитингова крива, конструирана по метода на най-малките квадрати

Използва се методът на най-малките квадрати:

За решаване на свръхопределени системи от уравнения, когато броят на уравненията надвишава броя на неизвестните;

Да се ​​търси решение в случай на обикновени (не свръхопределени) нелинейни системи от уравнения;

За приближаване на точкови стойности чрез някаква апроксимираща функция.

Апроксимиращата функция по метода на най-малките квадрати се определя от условието за минималната сума на квадратите на отклоненията на изчислената апроксимираща функция от даден масив от експериментални данни. Този критерий на метода на най-малките квадрати се записва като следния израз:

Стойности на изчислената апроксимираща функция в възлови точки,

Определен масив от експериментални данни в възлови точки.

Квадратният критерий има редица „добри“ свойства, като например диференцируемост, предоставяйки уникално решение на проблема с приближението с полиномиални апроксимиращи функции.

В зависимост от условията на задачата, апроксимиращата функция е полином от степен m

Степента на апроксимиращата функция не зависи от броя на възловите точки, но нейният размер винаги трябва да бъде по-малък от размерността (броя точки) на дадения масив от експериментални данни.

∙ Ако степента на апроксимиращата функция е m=1, тогава апроксимираме табличната функция с права линия (линейна регресия).

∙ Ако степента на апроксимиращата функция е m=2, тогава апроксимираме табличната функция с квадратна парабола (квадратично приближение).

∙ Ако степента на апроксимиращата функция е m=3, тогава апроксимираме табличната функция с кубична парабола (кубична апроксимация).

В общия случай, когато се изисква да се построи апроксимиращ полином от степен m за дадени таблични стойности, условието за минималната сума на квадратите на отклонения по всички възлови точки се пренаписва в следната форма:

- неизвестни коефициенти на апроксимиращия полином от степен m;

Броят на зададените стойности на таблицата.

Необходимо условие за съществуването на минимум на функция е равенството на нула на нейните частни производни по отношение на неизвестни променливи . В резултат на това получаваме следната система от уравнения:

Нека трансформираме получената линейна система от уравнения: отворете скобите и преместете свободните членове в дясната страна на израза. В резултат на това получената система от линейни алгебрични изрази ще бъде записана в следната форма:

Тази система от линейни алгебрични изрази може да бъде пренаписана в матрична форма:

В резултат на това се получава система от линейни уравнения с размерност m + 1, която се състои от m + 1 неизвестни. Тази система може да бъде решена с помощта на всеки метод за решаване на линейни алгебрични уравнения (например методът на Гаус). В резултат на решението ще бъдат намерени неизвестни параметри на апроксимиращата функция, които осигуряват минималната сума на квадратите на отклоненията на апроксимиращата функция от оригиналните данни, т.е. най-доброто възможно квадратично приближение. Трябва да се помни, че ако дори една стойност на първоначалните данни се промени, всички коефициенти ще променят стойностите си, тъй като те са напълно определени от първоначалните данни.

Апроксимация на изходни данни чрез линейна зависимост

(линейна регресия)

Като пример, разгледайте метода за определяне на апроксимиращата функция, който е даден като линейна зависимост. В съответствие с метода на най-малките квадрати условието за минималната сума на квадратите на отклоненията се записва, както следва:

Координати на възлови точки на таблицата;

Неизвестни коефициенти на апроксимиращата функция, която е дадена като линейна зависимост.

Необходимо условие за съществуването на минимум на функция е равенството на нула на нейните частни производни по отношение на неизвестни променливи. В резултат на това получаваме следната система от уравнения:

Нека трансформираме получената линейна система от уравнения.

Решаваме получената система от линейни уравнения. Коефициентите на апроксимиращата функция в аналитичната форма се определят, както следва (метод на Крамер):

Тези коефициенти осигуряват изграждането на линейна апроксимираща функция в съответствие с критерия за минимизиране на сумата от квадратите на апроксимиращата функция от дадени таблични стойности (експериментални данни).

Алгоритъм за прилагане на метода на най-малките квадрати

1. Изходни данни:

Даден е масив от експериментални данни с брой измервания N

Дадена е степента на апроксимиращия полином (m).

2. Алгоритъм за изчисление:

2.1. Определят се коефициенти за построяване на система от уравнения с размерност

Коефициенти на системата от уравнения (лявата страна на уравнението)

- индекс на номера на колоната на квадратната матрица на системата от уравнения

Свободни членове на системата от линейни уравнения (дясната страна на уравнението)

- индекс на номера на реда на квадратната матрица на системата от уравнения

2.2. Образуване на система от линейни уравнения с размерност .

2.3. Решение на система от линейни уравнения за определяне на неизвестните коефициенти на апроксимиращия полином от степен m.

2.4 Определяне на сумата от квадратните отклонения на апроксимиращия полином от първоначалните стойности по всички възлови точки

Намерената стойност на сумата от квадратите на отклоненията е минималната възможна.

Апроксимация с други функции

Трябва да се отбележи, че при приближаване на първоначалните данни в съответствие с метода на най-малките квадрати, понякога се използват логаритмична функция, експоненциална функция и степенна функция като апроксимираща функция.

Логично приближение

Разгледайте случая, когато апроксимиращата функция е дадена от логаритмична функция от формата:

Метод на най-малките квадрати

Метод на най-малките квадрати ( MNK, OLS, обикновени най-малки квадрати) - един от основните методи за регресионен анализ за оценка на неизвестни параметри на регресионни модели от извадкови данни. Методът се основава на минимизиране на сумата от квадратите на регресионните остатъци.

Трябва да се отбележи, че самият метод на най-малките квадрати може да се нарече метод за решаване на проблем във всяка област, ако решението се състои от или удовлетворява определен критерий за минимизиране на сумата от квадратите на някои функции на неизвестните променливи. Следователно методът на най-малките квадрати може да се използва и за приблизително представяне (апроксимация) на дадена функция от други (по-прости) функции, когато се намира набор от величини, които отговарят на уравнения или ограничения, чийто брой надвишава броя на тези величини и т.н.

Същността на МНК

Нека някакъв (параметричен) модел на вероятностна (регресионна) зависимост между (обяснената) променлива ги много фактори (обяснителни променливи) х

където е векторът на неизвестните параметри на модела

- Случайна грешка в модела.

Нека има и примерни наблюдения на стойностите на посочените променливи. Нека е номерът на наблюдение (). След това са стойностите на променливите в -тото наблюдение. След това, за дадени стойности на параметрите b, е възможно да се изчислят теоретичните (моделни) стойности на обяснената променлива y:

Стойността на остатъците зависи от стойностите на параметрите b.

Същността на LSM (обикновен, класически) е да се намерят такива параметри b, за които сумата от квадратите на остатъците (англ. Остатъчен сбор от квадрати) ще бъде минимален:

В общия случай този проблем може да бъде решен чрез числени методи за оптимизация (минимизация). В този случай се говори за нелинейни най-малки квадрати(NLS или NLLS - английски. Нелинейни най-малки квадрати). В много случаи може да се получи аналитично решение. За да се реши задачата за минимизиране, е необходимо да се намерят стационарните точки на функцията чрез диференцирането й по отношение на неизвестните параметри b, приравняването на производните към нула и решаването на получената система от уравнения:

Ако случайните грешки на модела са нормално разпределени, имат една и съща вариация и не са корелирани една с друга, оценките на параметрите на най-малките квадрати са същите като оценките на метода на максималната вероятност (MLM).

LSM в случай на линеен модел

Нека регресионната зависимост е линейна:

Позволявам г- колонен вектор на наблюденията на обяснената променлива и - матрица на наблюденията на факторите (редове на матрицата - вектори на стойностите на факторите в дадено наблюдение, по колони - вектор на стойностите на даден фактор във всички наблюдения) . Матричното представяне на линейния модел има формата:

Тогава векторът на оценките на обяснената променлива и векторът на регресионните остатъци ще бъдат равни на

съответно сумата от квадратите на регресионните остатъци ще бъде равна на

Диференцирайки тази функция по отношение на вектора на параметъра и приравнявайки производните на нула, получаваме система от уравнения (в матрична форма):

.

Решението на тази система от уравнения дава общата формула за оценки на най-малките квадрати за линейния модел:

За аналитични цели последното представяне на тази формула се оказва полезно. Ако данните в регресионния модел центриран, тогава в това представяне първата матрица има значението на примерната ковариационна матрица на факторите, а втората е векторът на ковариациите на факторите със зависима променлива. Ако в допълнение данните също са нормализиранв SKO (тоест в крайна сметка стандартизиран), тогава първата матрица има значението на извадковата корелационна матрица на факторите, вторият вектор - векторът на извадковите корелации на факторите със зависимата променлива.

Важно свойство на оценките на LLS за модели с константа- линията на построената регресия минава през центъра на тежестта на извадковите данни, т.е. равенството е изпълнено:

По-специално, в краен случай, когато единственият регресор е константа, откриваме, че OLS оценката на един параметър (самата константа) е равна на средната стойност на обясняваната променлива. Тоест средната аритметична стойност, известна с добрите си свойства от законите на големите числа, също е оценка на най-малките квадрати - тя удовлетворява критерия за минимална сума на квадратите на отклонения от нея.

Пример: проста (по двойки) регресия

В случай на сдвоена линейна регресия, формулите за изчисление са опростени (можете да правите без матрична алгебра):

Свойства на оценките на OLS

Първо, отбелязваме, че за линейните модели оценките на най-малките квадрати са линейни оценки, както следва от горната формула. За безпристрастни оценки на OLS е необходимо и достатъчно да се изпълни най-важното условие на регресионния анализ: математическото очакване на случайна грешка, зависима от факторите, трябва да бъде равно на нула. Това условие е изпълнено, по-специално, ако

1. математическото очакване на случайни грешки е нула и
2. факторите и случайните грешки са независими случайни променливи.

Основно е второто условие – състоянието на екзогенни фактори. Ако това свойство не е изпълнено, тогава можем да приемем, че почти всички оценки ще бъдат изключително незадоволителни: те дори няма да бъдат последователни (тоест дори много голямо количество данни не позволява получаването на качествени оценки в този случай). В класическия случай се прави по-силно предположение за детерминизма на факторите, за разлика от случайната грешка, което автоматично означава, че екзогенното условие е изпълнено. В общия случай за последователност на оценките е достатъчно да се изпълни условието за екзогенност заедно с конвергенцията на матрицата към някаква неособена матрица с увеличаване на размера на извадката до безкрайност.

За да бъдат, в допълнение към последователността и безпристрастността, оценките на (обичайния) LSM също ефективни (най-добрите в класа на линейните непредубедени оценки), е необходимо да се изпълнят допълнителни свойства на случайна грешка:

Тези предположения могат да бъдат формулирани за ковариационната матрица на вектора на случайната грешка

Линеен модел, който отговаря на тези условия, се нарича класически. Оценителите на най-малките квадрати за класическа линейна регресия са безпристрастни, последователни и най-ефективните оценители в класа на всички линейни безпристрастни оценители (съкращението син (Най-добрият линеен небазиран оценител) е най-добрата линейна безпристрастна оценка; в местната литература по-често се цитира теоремата на Гаус-Марков). Както е лесно да се покаже, ковариационната матрица на вектора на оценките на коефициента ще бъде равна на:

Обобщени най-малки квадрати

Методът на най-малките квадрати позволява широко обобщение. Вместо да се минимизира сумата от квадрати на остатъците, може да се минимизира някаква положително определена квадратна форма на остатъчния вектор, където е някаква симетрична положително определена матрица на тегло. Обикновените най-малки квадрати са специален случай на този подход, когато матрицата на теглото е пропорционална на матрицата на идентичността. Както е известно от теорията на симетричните матрици (или оператори), за такива матрици има декомпозиция. Следователно посоченият функционал може да бъде представен по следния начин, тоест този функционал може да бъде представен като сбор от квадратите на някои трансформирани "остатъци". По този начин можем да разграничим клас от методи на най-малките квадрати - LS-методи (Least Squares).

Доказва се (теорема на Ейткен), че за обобщен линеен регресионен модел (в който не се налагат ограничения върху ковариационната матрица на случайните грешки), най-ефективни (в класа на линейните непредубедени оценки) са оценките на т.нар. обобщени OLS (OMNK, GLS - обобщени най-малки квадрати)- LS-метод с тегловна матрица, равна на обратната ковариационна матрица на случайните грешки: .

Може да се покаже, че формулата за GLS-оценките на параметрите на линейния модел има формата

Ковариационната матрица на тези оценки съответно ще бъде равна на

Всъщност същността на OLS се състои в определена (линейна) трансформация (P) на оригиналните данни и прилагането на обичайните най-малки квадрати към трансформираните данни. Целта на тази трансформация е, че за трансформираните данни случайните грешки вече отговарят на класическите допускания.

Претеглени най-малки квадрати

В случай на диагонална матрица на тегло (и оттам ковариационната матрица на случайните грешки) имаме така наречените претеглени най-малки квадрати (WLS - Weighted Least Squares). В този случай претеглената сума от квадрати на остатъците на модела е сведена до минимум, т.е. всяко наблюдение получава "тегло", което е обратно пропорционално на дисперсията на случайната грешка в това наблюдение: . Всъщност данните се трансформират чрез претегляне на наблюденията (разделяне на количество, пропорционално на приетото стандартно отклонение на случайните грешки), а нормалните най-малки квадрати се прилагат към претеглените данни.

Някои частни случаи на приложение на LSM в практиката

Линейна апроксимация

Разгледайте случая, когато в резултат на изследване на зависимостта на определено скаларно количество от определено скаларно количество (Това може да бъде например зависимостта на напрежението от силата на тока: , където е постоянна стойност, съпротивлението на проводника ), тези количества бяха измерени, в резултат на което стойностите и и съответните им стойности. Данните от измерванията трябва да се записват в таблица.

Таблица. Резултати от измерването.

номер на измерване
1
2
3
4
5
6

Въпросът звучи така: каква стойност на коефициента може да се избере, за да опише най-добре зависимостта? Според най-малките квадрати тази стойност трябва да бъде такава, че сумата от квадратните отклонения на стойностите от стойностите

беше минимален

Сумата от квадратите на отклоненията има един екстремум - минимум, което ни позволява да използваме тази формула. Нека намерим стойността на коефициента от тази формула. За да направим това, трансформираме лявата му страна, както следва:

Последната формула ни позволява да намерим стойността на коефициента , която беше необходима в задачата.

История

До началото на XIX век. учените не са имали определени правила за решаване на система от уравнения, в която броят на неизвестните е по-малък от броя на уравненията; Дотогава се използваха определени методи, в зависимост от вида на уравненията и от изобретателността на калкулаторите, и следователно различните калкулатори, започвайки от едни и същи данни от наблюдения, стигаха до различни заключения. На Гаус (1795) се приписва първото приложение на метода, а Лежандре (1805) независимо го открива и публикува под съвременното му име (фр. Methode des moindres quarres ) . Лаплас свързва метода с теорията на вероятностите, а американският математик Адрейн (1808) разглежда неговите вероятностни приложения. Методът е широко разпространен и подобрен с по-нататъшни изследвания на Encke, Bessel, Hansen и други.

Алтернативно използване на MNC

Идеята за метода на най-малките квадрати може да се използва и в други случаи, които не са пряко свързани с регресионния анализ. Факт е, че сумата от квадрати е една от най-често срещаните мерки за близост за вектори (Евклидова метрика в крайномерни пространства).

Едно приложение е „решаване“ на системи от линейни уравнения, в които броят на уравненията е по-голям от броя на променливите

където матрицата не е квадратна, а правоъгълна.

Такава система от уравнения в общия случай няма решение (ако рангът действително е по-голям от броя на променливите). Следователно тази система може да бъде "решена" само в смисъл на избор на такъв вектор, за да се минимизира "разстоянието" между векторите и . За да направите това, можете да приложите критерия за минимизиране на сумата от квадратите на разликите на лявата и дясната част на уравненията на системата, т.е. Лесно е да се покаже, че решението на този проблем за минимизиране води до решението на следната система от уравнения