Суть методу найменших квадратів полягає у. Де використовується метод найменших квадратів. Приклади розв'язання задач методом найменших квадратів

Він має безліч застосувань, оскільки дозволяє здійснювати наближене уявлення заданої функції іншими більш простими. МНК може виявитися надзвичайно корисним при обробці спостережень і його активно використовують для оцінки одних величин за результатами вимірювань інших, що містять випадкові помилки. З цієї статті ви дізнаєтеся, як реалізувати обчислення методом найменших квадратів в Excel.

Постановка задачі на конкретному прикладі

Припустимо, є два показники X і Y. Причому Y залежить від X. Так як МНК цікавить нас з погляду регресійного аналізу (в Excel його методи реалізуються за допомогою вбудованих функцій), то відразу ж перейти до розгляду конкретної задачі.

Отже, нехай X — торгова площа продовольчого магазину, яка вимірюється у квадратних метрах, а Y — річний товарообіг, який визначається мільйонами рублів.

Потрібно зробити прогноз, який товарообіг (Y) матиме магазин, якщо в нього та чи інша торгова площа. Очевидно, що функція Y = f(X) зростаюча, оскільки гіпермаркет продає більше товарів, ніж ларьок.

Декілька слів про коректність вихідних даних, що використовуються для передбачення

Припустимо, ми маємо таблицю, побудовану за даними для n магазинів.

Згідно з математичною статистикою, результати будуть більш-менш коректними, якщо досліджуються дані щодо хоча б 5-6 об'єктів. Крім того, не можна використовувати "аномальні" результати. Зокрема, невеликий елітний бутік може мати товарообіг у рази більший, ніж товарообіг великих торгових точок класу «масмаркет».

Суть методу

Дані таблиці можна зобразити на декартовій площині у вигляді точок M 1 (x 1 y 1), … M n (x n y n). Тепер розв'язання задачі зведеться до підбору апроксимуючої функції y = f(x), що має графік, що проходить якомога ближче до точок M1, M2,.. Mn.

Звичайно, можна використовувати багаточлен високого ступеня, але такий варіант не тільки важко реалізувати, але й просто некоректний, тому що не відображатиме основну тенденцію, яку і потрібно виявити. Найрозумнішим рішенням є пошук прямої у = ax + b, яка найкраще наближає експериментальні дані, a точніше, коефіцієнтів – a та b.

Оцінка точності

При будь-якій апроксимації особливої важливості набуває оцінка її точності. Позначимо через e i різницю (відхилення) між функціональними та експериментальними значеннями для точки x i , тобто e i = y i - f (x i).

Очевидно, що для оцінки точності апроксимації можна використовувати суму відхилень, тобто при виборі прямої для наближеного уявлення залежності X від Y потрібно віддавати перевагу тій, у якої найменше значення суми e i у всіх точках. Однак, не все так просто, тому що поряд із позитивними відхиленнями практично будуть присутні і негативні.

Вирішити питання можна, використовуючи модулі відхилень або їх квадрати. Останній метод набув найбільш широкого поширення. Він використовується в багатьох областях, включаючи регресійний аналіз (в Excel його реалізація здійснюється за допомогою двох вбудованих функцій) і давно довів свою ефективність.

Метод найменших квадратів

В Excel, як відомо, існує вбудована функція автосуми, що дозволяє обчислити значення всіх значень, які розташовані у виділеному діапазоні. Таким чином, ніщо не завадить нам розрахувати значення виразу (e 1 2 + e 2 2 + e 3 2 + ... e n 2).

У математичному записі це має вигляд:

Оскільки спочатку було прийнято рішення про апроксимування за допомогою прямої, то маємо:

Таким чином, завдання знаходження прямої, яка найкраще описує конкретну залежність величин X та Y, зводиться до обчислення мінімуму функції двох змінних:

Для цього потрібно прирівняти до нуля приватні похідні за новими змінними a і b, і вирішити примітивну систему, що складається з двох рівнянь з двома невідомими видами:

Після нехитрих перетворень, включаючи поділ на 2 та маніпуляції із сумами, отримаємо:

Вирішуючи її, наприклад, методом Крамера, отримуємо стаціонарну точку з деякими коефіцієнтами a* та b*. Це і є мінімум, тобто для передбачення, який товарообіг буде у магазину при певній площі, підійде пряма y = a * x + b * , Що являє собою регресійну модель для прикладу, про який йдеться. Звичайно, вона не дозволить знайти точний результат, але допоможе одержати уявлення про те, чи окупиться покупка в кредит магазину конкретної площі.

Як реалізувати метод найменших квадратів в Excel

У "Ексель" є функція для розрахунку значення МНК. Вона має такий вигляд: «ТЕНДЕНЦІЯ» (відоме значення Y; відоме значення X; нові значення X; конст.). Застосуємо формулу розрахунку МНК Excel до нашої таблиці.

Для цього в комірку, в якій має бути відображено результат розрахунку за методом найменших квадратів в Excel, введемо знак = і виберемо функцію ТЕНДЕНЦІЯ. У вікні заповнимо відповідні поля, виділяючи:

діапазон відомих значень для Y (у разі дані для товарообігу);
діапазон x 1, … x n, тобто величини торгових площ;
і відомі, і невідомі значення x, для якого потрібно з'ясувати розмір товарообігу (інформацію про їхнє розташування на робочому аркуші див. далі).

Крім того, у формулі є логічна змінна «Конст». Якщо ввести у відповідне їй поле 1, це означатиме, що слід здійснити обчислення, вважаючи, що b = 0.

Якщо потрібно дізнатися прогноз більш ніж одного значення x, то після введення формули слід натиснути не на «Введення», а потрібно набрати на клавіатурі комбінацію «Shift» + «Control» + «Enter» («Введення»).

Деякі особливості

Регресійний аналіз може бути доступним навіть чайникам. Формула Excel для передбачення значення масиву невідомих змінних – «ТЕНДЕНЦІЯ» – може використовуватися навіть тими, хто ніколи не чув про метод найменших квадратів. Достатньо просто знати деякі особливості її роботи. Зокрема:

Якщо розташувати діапазон відомих значень змінної y в одному рядку або стовпці, то кожен рядок (стовпець) з відомими значеннями x сприйматиметься програмою як окрема змінна.
Якщо у вікні «ТЕНДЕНЦІЯ» не вказаний діапазон з відомими x, то у разі використання функції Excel програма буде розглядати його як масив, що складається з цілих чисел, кількість яких відповідає діапазону із заданими значеннями змінної y.
Щоб одержати на виході масив "передбачених" значень, вираз для обчислення тенденції потрібно вводити як формулу масиву.
Якщо не вказано нових значень x, то функція «ТЕНДЕНЦІЯ» вважає їх рівним відомим. Якщо вони не задані, то як аргумент береться масив 1; 2; 3; 4;…, який пропорційний діапазону з вже заданими параметрами y.
Діапазон, що містить нові значення x, повинен складатися з такої ж чи більшої кількості рядків або стовпців, як діапазон із заданими значеннями y. Іншими словами він має бути пропорційним незалежним змінним.
У масиві з відомими значеннями x може бути кілька змінних. Однак якщо йдеться лише про одну, то потрібно, щоб діапазони із заданими значеннями x та y були пропорційні. У разі кількох змінних потрібно, щоб діапазон із заданими значеннями y вміщався в одному стовпчику або в одному рядку.

Функція «ПЕРЕДСКАЗ»

Реалізується за допомогою кількох функцій. Одна з них називається «Предказ». Вона аналогічна «ТЕНДЕНЦІЇ», тобто видає результат обчислень методом найменших квадратів. Однак лише для одного X, для якого невідомо значення Y.

Тепер ви знаєте формули в Excel для чайників, що дозволяють спрогнозувати величину майбутнього значення того чи іншого показника згідно з лінійним трендом.

Завдання полягає у знаходженні коефіцієнтів лінійної залежності, при яких функція двох змінних аі bнабуває найменшого значення. Тобто, за даними аі bсума квадратів відхилень експериментальних даних від знайденої прямої буде найменшою. У цьому суть методу найменших квадратів.

Таким чином, рішення прикладу зводиться до знаходження екстремуму функції двох змінних.

Висновок формул знаходження коефіцієнтів.Складається та вирішується система із двох рівнянь із двома невідомими. Знаходимо приватні похідні функції за змінними аі b, Прирівнюємо ці похідні до нуля.

Вирішуємо отриману систему рівнянь будь-яким методом (наприклад, методом підстановки або методом Крамера) і отримуємо формули для знаходження коефіцієнтів за методом найменших квадратів (МНК).

За даними аі bфункція набуває найменшого значення.

Ось і весь спосіб найменших квадратів. Формула для знаходження параметра aмістить суми , , , та параметр n- Кількість експериментальних даних. Значення цих сум рекомендуємо обчислювати окремо. Коефіцієнт bзнаходиться після обчислення a.

Основна сфера застосування таких поліномів – обробка експериментальних даних (побудова емпіричних формул). Справа в тому, що інтерполяційний поліном, побудований за значеннями функції, отриманими за допомогою експерименту, відчуватиме сильний вплив "експериментального шуму", до того ж при інтерполюванні вузли інтерполяції не можуть повторюватися, тобто повторюватись. не можна використовувати результати повторних експериментів за однакових умов. Середньоквадратичний поліном згладжує шуми і дозволяє використовувати результати багаторазових експериментів.

Чисельне інтегрування та диференціювання. приклад.

Чисельне інтегрування- Обчислення значення певного інтеграла (як правило, наближене). Під чисельним інтегруванням розуміють набір чисельних методів знаходження значення певного інтеграла.

Чисельне диференціювання- Сукупність методів обчислення значення похідної дискретно заданої функції.

Інтегрування

Постановка задачі.Математична постановка задачі: необхідно визначити значення певного інтегралу

де a, b – кінцеві, f(x) – безперервна на [а, b].

При вирішенні практичних завдань часто буває, що інтеграл незручно чи неможливо взяти аналітично: він може не виражатися в елементарних функціях, підінтегральна функція може бути задана у вигляді таблиці та ін. У таких випадках застосовують методи чисельного інтегрування. Численні методи інтегрування використовують заміну площі криволінійної трапеції на кінцеву суму площ простіших геометричних фігур, які можуть бути точно обчислені. У цьому сенсі говорять про використання квадратурних формул.

У більшості методів використовується подання інтеграла у вигляді кінцевої суми (квадратурна формула):

В основі квадратурних формул лежить ідея заміна на відрізку інтегрування графіка підінтегрального вираження функціями більш простого виду, які легко можуть бути аналітично проінтегровані і, таким чином, легко обчислені. Найпростіше завдання побудови квадратурних формул реалізується для поліноміальних математичних моделей.

Можна виділити три групи методів:

1. Метод із розбиттям відрізка інтегрування на рівні інтервали. Розбиття на інтервали проводиться заздалегідь, зазвичай інтервали вибираються рівними (щоб легше було обчислити функцію кінцях інтервалів). Обчислюють площі та підсумовують їх (методи прямокутників, трапеції, Сімпсона).

2. Методи з розбиттям відрізка інтегрування за допомогою спеціальних точок (метод Гаусса).

3. Обчислення інтегралів з допомогою випадкових чисел (метод Монте-Карло).

Метод прямокутників.Нехай функцію (малюнок) необхідно проінтегрувати чисельним методом на відрізку. Розділимо відрізок на N рівних інтервалів. Площу кожної з N криволінійних трапецій можна замінити на площу прямокутника.

Ширина всіх прямокутників однакова і дорівнює:

Як вибір висоти прямокутників можна вибрати значення функції на лівій межі. У цьому випадку висота першого прямокутника становитиме f(a), другого f(x 1),…, N-f(N-1).

Якщо в якості вибору висоти прямокутника взяти значення функції на правій межі, то в цьому випадку висота першого прямокутника становитиме f(x 1), другого – f(x 2), …, N – f(x N).

Як бачимо, у разі одна з формул дає наближення до інтегралу з надлишком, а друга з недоліком. Існує ще один спосіб - використовувати для апроксимації значення функції всередині відрізка інтегрування:

Оцінка абсолютної похибки методу прямокутників (середина)

Оцінка абсолютної похибки методів лівих та правих прямокутників.

приклад.Обчислити для всього інтервалу та з розподілом інтервалу на чотири ділянки

Рішення.Аналітичне обчислення даного інтеграла дає I=агсtg(1)–агсtg(0)=0,7853981634. У нашому випадку:

1) h = 1; xо = 0; x1 = 1;

2) h = 0,25 (1/4); x0 = 0; x1 = 0,25; x2 = 0,5; х3 = 0,75; x4 = 1;

Обчислимо методом лівих прямокутників:

Обчислимо методом правих прямокутників:

Обчислимо методом середніх прямокутників:

Метод трапецій.Використання інтерполяції полінома першого ступеня (пряма лінія, проведена через дві точки) призводить до формули трапецій. Як вузли інтерполювання беруться кінці відрізка інтегрування. Таким чином, криволінійна трапеція замінюється на звичайну трапецію, площа якої може бути знайдена як добуток напівсуми підстав на висоту

У разі N відрізків інтегрування для всіх вузлів, за винятком крайніх точок відрізка, значення функції увійде в загальну суму двічі (оскільки сусідні трапеції мають одну спільну сторону)

Формула трапеції може бути отримана, якщо взяти половину суми формул прямокутників з правого та лівого країв відрізка:

Перевіряє стійкість рішення.Зазвичай, що менше довжина кожного інтервалу, тобто. чим більше цих інтервалів, тим менше відрізняються наближене і точне значення інтеграла. Це справедливо більшість функцій. У методі трапецій помилка обчислення інтеграла ϭ приблизно пропорційна квадрату кроку інтегрування (ϭ ~ h 2). Таким чином, для обчислення інтеграла деякої функції в межах a,b необхідно розділити відрізок на N 0 інтервалів і знайти суму площ трапеції. Потім потрібно збільшити кількість інтервалів N 1 знову обчислити суму трапеції і порівняти отримане значення з попереднім результатом. Це слід повторювати доти (N i), доки не буде досягнуто заданої точності результату (критерій збіжності).

Для методів прямокутників та трапеції зазвичай на кожному кроці ітерації кількість інтервалів збільшується в 2 рази (N i +1 = 2 N i).

Критерій збіжності:

Головна перевага правила трапецій – його простота. Однак якщо при обчисленні інтеграла потрібна висока точність, застосування цього методу може зажадати занадто багато ітерацій.

Абсолютна похибка методу трапеційоцінюється як
.

приклад.Обчислити приблизно певний інтеграл за формулою трапецій.

а) Розбивши відрізок інтегрування на 3 частини.
б) Розбивши відрізок інтегрування на 5 елементів.

Рішення:
а) За умовою відрізок інтегрування необхідно розділити на 3 частини, тобто .
Обчислимо довжину кожного відрізка розбиття: .

Таким чином, загальна формула трапецій скорочується до приємних розмірів:

Остаточно:

Нагадую, що набуте значення – це наближене значення площі.

б) Розіб'ємо відрізок інтегрування на 5 рівних частин, тобто . збільшуючи кількість відрізків, ми збільшуємо точність обчислень.

Якщо , то формула трапецій набуває наступного вигляду:

Знайдемо крок розбиття:
тобто довжина кожного проміжного відрізка дорівнює 0,6.

При чистовому оформленні завдання всі обчислення зручно оформляти розрахунковою таблицею:

У першому рядку записуємо «лічильник»

В результаті:

Ну що ж, уточнення, і серйозне, справді є!
Якщо для 3-х відрізків розбиття, то для 5-ти відрізків. Якщо взяти ще більшим відрізком => буде ще точніше.

Формула Сімпсон.Формула трапеції дає результат, що сильно залежить від величини кроку h, що позначається на точності обчислення певного інтеграла особливо у випадках, коли функція має немонотонний характер. Можна припустити підвищення точності обчислень, якщо замість відрізків прямих, що замінюють криволінійні фрагменти графіка функції f(x), використовувати, наприклад, фрагменти парабол, що наводяться через три сусідні точки графіка. Подібна геометрична інтерпретація є основою методу Сімпсона для обчислення певного інтеграла. Весь інтервал інтегрування a,b розбивається N відрізків, довжина відрізка також дорівнюватиме h=(b-a)/N.

Формула Сімпсона має вигляд:

залишковий член

Зі збільшенням довжини відрізків точність формули падає, тому збільшення точності застосовують складову формулу Симпсона. Весь інтервал інтегрування розбивається на парне число однакових відрізків N, довжина відрізка також дорівнюватиме h=(b-a)/N. Складова формула Сімпсона має вигляд:

У формулі виразу в дужках є суми значень підінтегральної функції відповідно на кінцях непарних і парних внутрішніх відрізків.

Залишковий член формули Сімпсона пропорційний вже четвертому ступені кроку:

Приклад:Користуючись правилом Сімпсона обчислити інтеграл. (точне рішення - 0,2)

Метод Гауса

Квадратурна формула Гауса. Основний принцип квадратурних формул другого різновиду видно з малюнка 1.12: необхідно так розмістити крапки х 0 та х 1 всередині відрізка [ a;b], щоб площі "трикутників" у сумі дорівнювали площі "сегменту". При використанні формули Гауса вихідний відрізок [ a;b] зводиться до відрізку [-1;1] заміною змінної хна

0.5∙(b– a)∙t+ 0.5∙(b + a).

Тоді , де .

Така заміна можлива, якщо aі bкінцеві, а функція f(x) безперервна на [ a;b]. Формула Гауса при nточках x i, i=0,1,..,n-1 всередині відрізка [ a;b]:

, (1.27)

де t iі A ідля різних nнаводяться у довідниках. Наприклад, при n=2 A 0 =A 1 = 1; при n=3: t 0 =t 2» 0.775, t 1 =0, A 0 =A 2» 0.555, A 1» 0.889.

Квадратурна формула Гауса

отримана з ваговою функцією рівною одиниці p(x)= 1 та вузлами x i, що є корінням поліномів Лежандра

Коефіцієнти A ілегко обчислюються за формулами

i=0,1,2,...n.

Значення вузлів та коефіцієнтів для n=2,3,4,5 наведені в таблиці

Порядок	Вузли	Коефіцієнти
n=2	x 1=0 x 0 =-x 2=0.7745966692	A 1=8/9 A 0 =A 2=5/9
n=3	x 2 =-x 1=0.3399810436 x 3 =-x 0=0.8611363116	A 1 =A 2=0.6521451549 A 0 = A 3=0.6521451549
n=4	x 2 = 0 x 3 = -x 1 = 0.5384693101 x 4 =-x 0 =0.9061798459	A 0 =0.568888899 A 3 =A 1 =0.4786286705 A 0 =A 4 =0.2869268851
n=5	x 5 = -x 0 =0.9324695142 x 4 = -x 1 =0.6612093865 x 3 = -x 2 =0.2386191861	A 5 =A 0 =0.1713244924 A 4 =A 1 =0.3607615730 A 3 =A 2 =0.4679139346

приклад.Обчислити значення за формулою Гауса для n=2:

Точне значення: .

Алгоритм обчислення інтеграла за формулою Гауса передбачає не подвоєння числа мікровідрізків, а збільшення числа ординат на 1 та порівняння отриманих значень інтеграла. Перевага формули Гауса – висока точність при порівняно малій кількості ординат. Недоліки: незручна при розрахунках вручну; необхідно пам'ятати ЕОМ значення t i, A ідля різних n.

Для формула залишкового члена буде причому коефіцієнт α Nшвидко зменшується зі зростанням N. Тут

Формули Гаусса забезпечують високу точність вже за невеликій кількості вузлів (від 4 до 10) У цьому випадку У практичних обчисленнях кількість вузлів становить від кількох сотень до кількох тисяч. Зазначимо також, що ваги квадратур Гауса завжди позитивні, що забезпечує стійкість алгоритму обчислення сум

Метод найменших квадратів (МНК) дозволяє оцінювати різні величини, використовуючи результати множини вимірювань, що містять випадкові помилки.

Характеристика МНК

Основна ідея цього методу полягає в тому, що як критерій точності розв'язання задачі розглядається сума квадратів помилок, яку прагнуть звести до мінімуму. З використанням цього можна застосовувати як чисельний, і аналітичний підхід.

Зокрема, як чисельну реалізацію метод найменших квадратів передбачає проведення якнайбільшого числа вимірювань невідомої випадкової величини. Причому чим більше обчислень, тим точніше буде рішення. У цьому безлічі обчислень (вихідних даних) отримують інше безліч гаданих рішень, з якого потім вибирається найкраще. Якщо безліч рішень параметризувати, метод найменших квадратів зведеться до пошуку оптимального значення параметрів.

Як аналітичний підхід до реалізації МНК на безлічі вихідних даних (вимірювань) і передбачуваній безлічі рішень визначається деяка (функціонал), яку можна висловити формулою, яка одержується як деяка гіпотеза, що вимагає підтвердження. У цьому випадку метод найменших квадратів зводиться до знаходження мінімуму цього функціоналу на множині квадратів помилок вихідних даних.

Зауважте, що самі помилки, саме квадрати помилок. Чому? Справа в тому, що найчастіше відхилення вимірів від точного значення бувають як позитивними, так і негативними. При визначенні середньої просте підсумовування може призвести до невірного висновку якості оцінки, оскільки взаємне знищення позитивних і негативних значень знизить потужність вибірки безлічі вимірювань. Отже, і точність оцінки.

Для того, щоб цього не сталося, і підсумовують квадрати відхилень. Навіть більше, щоб вирівняти розмірність вимірюваної величини та підсумкової оцінки, із суми квадратів похибок витягують

Деякі програми МНК

МНК широко використовується у різних галузях. Наприклад, у теорії ймовірностей та математичної статистики метод використовується для визначення такої характеристики випадкової величини, як середнє квадратичне відхилення, що визначає ширину діапазону значень випадкової величини.

Апроксимація дослідних даних - це метод, заснований на заміні експериментально отриманих даних аналітичною функцією, що найбільш близько проходить або збігається в вузлових точках з вихідними значеннями (даними отриманими в ході досвіду або експерименту). В даний час існує два способи визначення аналітичної функції:

За допомогою побудови інтерполяційного багаточлена n-ступеня, що проходить безпосередньо через усі точкизаданого масиву даних. У даному випадку апроксимуюча функція подається у вигляді: інтерполяційного багаточлена у формі Лагранжа або інтерполяційного багаточлена у формі Ньютона.

За допомогою побудови апроксимуючого багаточлена n-ступеня, що проходить в найближчій близькості від точокіз заданого масиву даних. Таким чином, апроксимуюча функція згладжує всі випадкові перешкоди (або похибки), які можуть виникати при виконанні експерименту: значення, що вимірюються в ході досвіду, залежать від випадкових факторів, які коливаються за своїми власними випадковими законами (похибки вимірювань або приладів, неточність або помилки досвіду). У разі апроксимуюча функція визначається методом найменших квадратів.

Метод найменших квадратів(В англомовній літературі Ordinary Least Squares, OLS) - математичний метод, заснований на визначенні апроксимуючої функції, яка будується в найближчій близькості від точок із заданого масиву експериментальних даних. Близькість вихідної та апроксимуючої функції F(x) визначається числовою мірою, а саме: сума квадратів відхилень експериментальних даних від апроксимуючої кривої F(x) має бути найменшою.

Апроксимуюча крива, побудована за методом найменших квадратів

Метод найменших квадратів використовується:

Для вирішення перевизначених систем рівнянь коли кількість рівнянь перевищує кількість невідомих;

Для пошуку рішення у разі звичайних (не перевизначених) нелінійних систем рівнянь;

Для апроксимації точкових значень деякою апроксимуючою функцією.

Апроксимуюча функція методом найменших квадратів визначається з умови мінімуму суми квадратів відхилень розрахункової апроксимуючої функції від заданого масиву експериментальних даних. Цей критерій методу найменших квадратів записується у вигляді наступного виразу:

Значення розрахункової апроксимуючої функції у вузлових точках

Заданий масив експериментальних даних у вузлових точках.

Квадратичний критерій має низку "хороших" властивостей, таких, як диференційність, забезпечення єдиного розв'язання задачі апроксимації при поліноміальних апроксимуючих функціях.

Залежно від умов завдання апроксимуюча функція є багаточленом ступеня m

Ступінь апроксимуючої функції не залежить від числа вузлових точок, але її розмірність повинна бути завжди меншою за розмірність (кількість точок) заданого масиву експериментальних даних.

∙ Якщо ступінь апроксимуючої функції m=1, то ми апроксимуємо табличну функцію прямою лінією (лінійна регресія).

∙ Якщо ступінь апроксимуючої функції m=2, то ми апроксимуємо табличну функцію квадратичною параболою (квадратична апроксимація).

∙ Якщо ступінь апроксимуючої функції m=3, то ми апроксимуємо табличну функцію кубічною параболою (кубічна апроксимація).

У випадку, коли потрібно побудувати апроксимуючий многочлен ступеня m для заданих табличних значень, умова мінімуму суми квадратів відхилень за всіма вузловими точками переписується у такому виде:

- невідомі коефіцієнти апроксимуючого багаточлена ступеня m;

Кількість заданих табличних значень.

Необхідною умовою існування мінімуму функції є рівність нуля її приватних похідних за невідомими змінними . В результаті отримаємо наступну систему рівнянь:

Перетворимо отриману лінійну систему рівнянь: розкриємо дужки і перенесемо вільні доданки в праву частину виразу. В результаті отримана система лінійних виразів алгебри буде записуватися в наступному вигляді:

Дана система лінійних виразів алгебри може бути переписана в матричному вигляді:

В результаті було отримано систему лінійних рівнянь розмірністю m+1, що складається з m+1 невідомих. Дана система може бути вирішена за допомогою будь-якого методу розв'язання лінійних рівнянь алгебри (наприклад, методом Гаусса). Через війну рішення знайдено невідомі параметри апроксимуючої функції, які забезпечують мінімальну суму квадратів відхилень апроксимуючої функції від вихідних даних, тобто. найкраще можливе квадратичне наближення. Слід пам'ятати, що при зміні навіть одного значення вихідних даних усі коефіцієнти змінять свої значення, оскільки вони повністю визначаються вихідними даними.

Апроксимація вихідних даних лінійною залежністю

(лінійна регресія)

Як приклад розглянемо методику визначення апроксимуючої функції, яка задана у вигляді лінійної залежності. Відповідно до методу найменших квадратів умова мінімуму суми квадратів відхилень записується у такому вигляді:

Координати вузлових точок таблиці;

Невідомі коефіцієнти апроксимуючої функції, заданої у вигляді лінійної залежності.

Необхідною умовою існування мінімуму функції є рівність нуля її приватних похідних за невідомими змінними. В результаті отримуємо таку систему рівнянь:

Перетворимо отриману лінійну систему рівнянь.

Вирішуємо отриману систему лінійних рівнянь. Коефіцієнти апроксимуючої функції в аналітичному вигляді визначаються в такий спосіб (метод Крамера):

Дані коефіцієнти забезпечують побудову лінійної апроксимуючої функції відповідно до критерію мінімізації суми квадратів апроксимуючої функції від заданих табличних значень (експериментальні дані).

Алгоритм реалізації методу найменших квадратів

1. Початкові дані:

Задано масив експериментальних даних із кількістю вимірювань N

Задано ступінь апроксимуючого багаточлена (m)

2. Алгоритм обчислення:

2.1. Визначаються коефіцієнти для побудови системи рівнянь розмірністю

Коефіцієнти системи рівнянь (ліва частина рівняння)

- Індекс номера стовпця квадратної матриці системи рівнянь

Вільні члени системи лінійних рівнянь (права частина рівняння)

- індекс номера рядка квадратної матриці системи рівнянь

2.2. Формування системи лінійних рівнянь розмірністю.

2.3. Розв'язання системи лінійних рівнянь з метою визначення невідомих коефіцієнтів апроксимуючого багаточлена ступеня m.

2.4.Визначення суми квадратів відхилень апроксимуючого багаточлена від вихідних значень по всіх вузлових точках

Знайдене значення суми квадратів відхилень є мінімально можливим.

Апроксимація за допомогою інших функцій

Слід зазначити, що при апроксимації вихідних даних відповідно до методу найменших квадратів як апроксимуючу функцію іноді використовують логарифмічну функцію, експоненційну функцію і статечну функцію.

Логарифмічна апроксимація

Розглянемо випадок, коли апроксимуюча функція задана логарифмічною функцією виду:

Метод найменших квадратів

Метод найменших квадратів ( МНК, OLS, Ordinary Least Squares) - один із базових методів регресійного аналізу для оцінки невідомих параметрів регресійних моделей за вибірковими даними. Метод ґрунтується на мінімізації суми квадратів залишків регресії.

Необхідно відзначити, що власне методом найменших квадратів можна назвати метод вирішення задачі в будь-якій області, якщо рішення полягає або задовольняє деякий критерій мінімізації суми квадратів деяких функцій від змінних, що шукаються. Тому метод найменших квадратів може застосовуватися також для наближеного представлення (апроксимації) заданої функції іншими (простішими) функціями, при знаходженні сукупності величин, що задовольняють рівнянь або обмежень, кількість яких перевищує кількість цих величин і т.д.

Сутність МНК

Нехай задана деяка (параметрична) модель імовірнісної (регресійної) залежності між (з'ясованою) змінною yі безліччю факторів (що пояснюють змінних) x

де - вектор невідомих параметрів моделі

- Випадкова помилка моделі.

Нехай також є вибіркові спостереження значень вказаних змінних. Нехай – номер спостереження (). Тоді - значення змінних у спостереженні. Тоді при заданих значеннях параметрів b можна розрахувати теоретичні (модельні) значення змінної, що пояснюється y:

Розмір залишків залежить від значень параметрів b.

Сутність МНК (звичайного, класичного) у тому, щоб знайти такі параметри b, у яких сума квадратів залишків (англ. Residual Sum of Squares) буде мінімальною:

У випадку вирішення цього завдання може здійснюватися чисельними методами оптимізації (мінімізації). У цьому випадку говорять про нелінійному МНК(NLS або NLLS – англ. Non-Linear Least Squares). У багатьох випадках можна одержати аналітичне рішення. Для вирішення задачі мінімізації необхідно знайти стаціонарні точки функції, продиференціювавши її за невідомими параметрами b, прирівнявши похідні до нуля і вирішивши отриману систему рівнянь:

Якщо випадкові помилки моделі мають нормальний розподіл , мають однакову дисперсію і некорельовані між собою, МНК оцінки параметрів збігаються з оцінками методу максимальної правдоподібності (ММП).

МНК у разі лінійної моделі

Нехай регресійна залежність є лінійною:

Нехай y- Вектор-стовпець спостережень пояснюваної змінної, а - матриця спостережень факторів (рядки матриці - вектори значень факторів у даному спостереженні, по стовпцях - вектор значень даного фактора у всіх спостереженнях). Матричне уявлення лінійної моделі має вигляд:

Тоді вектор оцінок змінної, що пояснюється, і вектор залишків регресії дорівнюватимуть

відповідно сума квадратів залишків регресії дорівнюватиме

Диференціюючи цю функцію за вектором параметрів та прирівнявши похідні до нуля, отримаємо систему рівнянь (у матричній формі):

Вирішення цієї системи рівнянь і дає загальну формулу МНК-оцінок для лінійної моделі:

Для аналітичних цілей виявляється корисним останнє уявлення цієї формули. Якщо у регресійній моделі дані центровані, то цьому поданні перша матриця має сенс вибіркової ковариационной матриці чинників, а друга - вектор ковариаций чинників із залежною змінною. Якщо дані ще й нормованіна СКО (тобто зрештою стандартизовано), то перша матриця має сенс вибіркової кореляційної матриці факторів, другий вектор - вектора вибіркових кореляцій факторів із залежною змінною.

Важлива властивість МНК-оцінок для моделей з константою- лінія побудованої регресії проходить через центр тяжкості вибіркових даних, тобто виконується рівність:

Зокрема, у крайньому випадку, коли єдиним регресором є константа, отримуємо, що МНК-оцінка єдиного параметра (власне константи) дорівнює середньому значенню змінної, що пояснюється. Тобто середнє арифметичне, відоме своїми добрими властивостями із законів великих чисел, також є МНК-оцінкою – задовольняє критерію мінімуму суми квадратів відхилень від неї.

Приклад: найпростіша (парна) регресія

У разі парної лінійної регресії формули розрахунку спрощуються (можна обійтися без матричної алгебри):

Властивості МНК-оцінок

Насамперед, зазначимо, що для лінійних моделей МНК-оцінки є лінійними оцінками, як це випливає з вищенаведеної формули. Для незміщеності МНК-оцінок необхідно і достатньо виконання найважливішої умови регресійного аналізу: умовне за факторами математичне очікування випадкової помилки має дорівнювати нулю. Ця умова, зокрема, виконана, якщо

математичне очікування випадкових помилок дорівнює нулю, та
фактори та випадкові помилки - незалежні випадкові величини.

Друга умова - умова екзогенності факторів - важлива. Якщо це властивість не виконано, можна вважати, що будь-які оцінки будуть вкрай незадовільними: де вони навіть заможними (тобто навіть дуже великий обсяг даних Демшевського не дозволяє отримати якісні оцінки у разі). У класичному випадку робиться сильніша припущення про детермінованість факторів, на відміну від випадкової помилки, що автоматично означає виконання умови екзогенності. У випадку для спроможності оцінок досить виконання умови екзогенності разом із збіжністю матриці до деякої невиродженої матриці зі збільшенням обсягу вибірки до нескінченності.

Для того, щоб крім спроможності та незміщеності, оцінки (звичайного) МНК були ще й ефективними (найкращими в класі лінійних незміщених оцінок) необхідно виконання додаткових властивостей випадкової помилки:

Дані припущення можна сформулювати для коварійної матриці вектора випадкових помилок

Лінійна модель, що задовольняє такі умови, називається класичною. МНК-оцінки для класичної лінійної регресії є незміщеними, заможними та найбільш ефективними оцінками в класі всіх лінійних незміщених оцінок (в англомовній літературі іноді вживають абревіатуру BLUE (Best Linear Unbaised Estimator) - найкраща лінійна незміщена оцінка; у вітчизняній літературі найчастіше наводиться теорема Гауса – Маркова). Як неважко показати, ковариационная матриця вектора оцінок коефіцієнтів дорівнюватиме:

Узагальнений МНК

Метод найменших квадратів припускає широке узагальнення. Замість мінімізації суми квадратів залишків можна мінімізувати деяку позитивно визначену квадратичну форму від вектора залишків де - деяка симетрична позитивно визначена вагова матриця. Звичайний МНК є окремим випадком даного підходу, коли вагова матриця пропорційна одиничній матриці. Як відомо з теорії симетричних матриць (або операторів) для таких матриць існує розкладання. Отже, зазначений функціонал можна уявити наступним чином , тобто цей функціонал можна як суму квадратів деяких перетворених «залишків». Отже, можна назвати клас методів найменших квадратів - LS-методи (Least Squares).

Доведено (теорема Айткена), що для узагальненої лінійної регресійної моделі (у якій на коварійну матрицю випадкових помилок не накладається жодних обмежень) найефективнішими (у класі лінійних незміщених оцінок) є оцінки т.з. узагальненого МНК (ОМНК, GLS - Generalized Least Squares)- LS-метода з ваговою матрицею, що дорівнює зворотній коварійній матриці випадкових помилок: .

Можна показати, що формула ОМНК оцінок параметрів лінійної моделі має вигляд

Коваріаційна матриця цих оцінок відповідно дорівнюватиме

Фактично сутність ОМНК полягає у певному (лінійному) перетворенні (P) вихідних даних та застосуванні звичайного МНК до перетворених даних. Ціль цього перетворення - для перетворених даних випадкові помилки вже задовольняють класичним припущенням.

Зважений МНК

У випадку діагональної вагової матриці (а значить і матриці коварійної випадкових помилок) маємо так званий зважений МНК (WLS - Weighted Least Squares). У разі мінімізується зважена сума квадратів залишків моделі, тобто кожне спостереження отримує «вага», зворотно пропорційний дисперсії випадкової помилки у цьому спостереженні: . Фактично дані перетворюються зважуванням спостережень (розподілом на величину, пропорційну передбачуваному стандартному відхилення випадкових помилок), а зваженим даним застосовується звичайний МНК.

Деякі окремі випадки застосування МНК на практиці

Апроксимація лінійної залежності

Розглянемо випадок, коли в результаті вивчення залежності деякої скалярної величини від деякої скалярної величини (Це може бути, наприклад, залежність напруги від сили струму : де - постійна величина, опір провідника) було проведено вимірювань цих величин, в результаті яких були отримані значення і відповідні їм значення. Дані вимірювань мають бути записані у таблиці.

Таблиця. Результати вимірів.

№ виміру
1
2
3
4
5
6

Питання звучить так: яке значення коефіцієнта можна підібрати, щоб якнайкраще описати залежність? Згідно з МНК це значення має бути таким, щоб сума квадратів відхилень величин від величин

була мінімальною

Сума квадратів відхилень має один екстремум – мінімум, що дозволяє нам використовувати цю формулу. Знайдемо з цієї формули значення коефіцієнта. І тому перетворимо її ліву частину так:

Остання формула дозволяє знайти значення коефіцієнта , що й потрібно завдання.

Історія

На початок ХІХ ст. вчені у відсутності певних правил на вирішення системи рівнянь , у якій число невідомих менше, ніж число рівнянь; до цього часу використовувалися приватні прийоми, що залежали від виду рівнянь і від дотепності обчислювачів, і тому різні обчислювачі, виходячи з тих самих даних спостережень, приходили до різних висновків. Гаусс (1795) належить перше застосування методу, а Лежандр (1805) незалежно відкрив і опублікував його під сучасною назвою (фр. Méthode des moindres quarrés ). Лаплас пов'язав метод з теорією ймовірностей, а американський математик Едрейн (1808) розглянув його теоретико-імовірнісні додатки. Метод поширений і вдосконалений подальшими дослідженнями Енке, Бесселя, Ганзена та інших.

Альтернативне використання МНК

Ідея методу найменших квадратів може бути використана також в інших випадках, які не пов'язані безпосередньо з регресійним аналізом. Справа в тому, що сума квадратів є одним із найпоширеніших заходів близькості для векторів (евклідова метрика в кінцевомірних просторах).

Одне із застосувань - «вирішення» систем лінійних рівнянь, у яких число рівнянь більше числа змінних

де матриця не квадратна, а прямокутна розміру.

Така система рівнянь, у випадку немає рішення (якщо ранг насправді більше числа змінних). Тому цю систему можна «вирішити» тільки в сенсі вибору такого вектора, щоб мінімізувати «відстань» між векторами та . І тому можна застосувати критерій мінімізації суми квадратів різниць лівої та правої частин рівнянь системи, тобто . Неважко показати, що вирішення цього завдання мінімізації призводить до вирішення наступної системи рівнянь