สาระสำคัญของวิธีกำลังสองน้อยที่สุดคือ: ใช้วิธีกำลังสองน้อยที่สุดที่ไหน? ตัวอย่างการแก้ปัญหาโดยใช้วิธีกำลังสองน้อยที่สุด

มีแอปพลิเคชันมากมาย เนื่องจากช่วยให้สามารถแสดงฟังก์ชันที่กำหนดโดยประมาณโดยฟังก์ชันอื่นที่ง่ายกว่าได้ LSM มีประโยชน์อย่างมากในการประมวลผลการสังเกต และมีการใช้อย่างแข็งขันในการประมาณปริมาณบางปริมาณโดยอิงจากผลลัพธ์ของการวัดปริมาณอื่นๆ ที่มีข้อผิดพลาดแบบสุ่ม ในบทความนี้ คุณจะได้เรียนรู้วิธีใช้การคำนวณกำลังสองน้อยที่สุดใน Excel

คำชี้แจงปัญหาโดยใช้ตัวอย่างเฉพาะ

สมมติว่ามีตัวบ่งชี้ X และ Y สองตัว ยิ่งไปกว่านั้น Y ขึ้นอยู่กับ X เนื่องจาก OLS สนใจเราจากมุมมองของการวิเคราะห์การถดถอย (ใน Excel วิธีการของมันถูกนำมาใช้โดยใช้ฟังก์ชันในตัว) เราควรพิจารณาทันที ปัญหาเฉพาะ

ดังนั้น ให้ X เป็นพื้นที่ค้าปลีกของร้านขายของชำ มีหน่วยเป็นตารางเมตร และ Y เป็นมูลค่าการซื้อขายต่อปี มีหน่วยเป็นล้านรูเบิล

จำเป็นต้องคาดการณ์ว่าร้านค้าจะมียอดขายเท่าใด (Y) หากมีพื้นที่ค้าปลีกนี้หรือพื้นที่นั้น เห็นได้ชัดว่าฟังก์ชัน Y = f (X) เพิ่มขึ้นเนื่องจากไฮเปอร์มาร์เก็ตขายสินค้ามากกว่าแผงลอย

คำไม่กี่คำเกี่ยวกับความถูกต้องของข้อมูลเริ่มต้นที่ใช้ในการทำนาย

สมมติว่าเรามีตารางที่สร้างขึ้นโดยใช้ข้อมูลสำหรับร้านค้า n แห่ง

ตามสถิติทางคณิตศาสตร์ ผลลัพธ์จะแม่นยำไม่มากก็น้อยหากตรวจสอบข้อมูลบนวัตถุอย่างน้อย 5-6 ชิ้น นอกจากนี้ยังไม่สามารถใช้ผลลัพธ์ที่ "ผิดปกติ" ได้ โดยเฉพาะอย่างยิ่งร้านบูติกขนาดเล็กชั้นยอดอาจมีมูลค่าการซื้อขายมากกว่ามูลค่าการซื้อขายของร้านค้าปลีกขนาดใหญ่ประเภท "masmarket" หลายเท่า

สาระสำคัญของวิธีการ

ข้อมูลตารางสามารถแสดงบนระนาบคาร์ทีเซียนในรูปแบบของจุด M 1 (x 1, y 1), ... M n (x n, y n) ตอนนี้วิธีแก้ปัญหาจะลดลงเหลือการเลือกฟังก์ชันประมาณ y = f (x) ซึ่งมีกราฟที่ส่งผ่านใกล้กับจุด M 1, M 2, .. M n มากที่สุด

แน่นอน คุณสามารถใช้พหุนามระดับสูงได้ แต่ตัวเลือกนี้ไม่เพียงแต่ใช้งานยากเท่านั้น แต่ยังไม่ถูกต้องอีกด้วย เนื่องจากจะไม่สะท้อนถึงแนวโน้มหลักที่ต้องตรวจพบ วิธีแก้ปัญหาที่สมเหตุสมผลที่สุดคือการค้นหาเส้นตรง y = ax + b ซึ่งประมาณค่าข้อมูลการทดลองได้ดีที่สุด หรือถ้าให้เจาะจงกว่านั้นคือค่าสัมประสิทธิ์ a และ b

การประเมินความแม่นยำ

ด้วยการประมาณค่าใดๆ ก็ตาม การประเมินความถูกต้องแม่นยำถือเป็นสิ่งสำคัญอย่างยิ่ง ให้เราแสดงด้วย e i ความแตกต่าง (ส่วนเบี่ยงเบน) ระหว่างค่าการทำงานและค่าทดลองสำหรับจุด x i นั่นคือ e i = y i - f (x i)

เห็นได้ชัดว่าในการประเมินความถูกต้องของการประมาณคุณสามารถใช้ผลรวมของการเบี่ยงเบนได้เช่น เมื่อเลือกเส้นตรงเพื่อเป็นตัวแทนโดยประมาณของการพึ่งพา X บน Y คุณควรให้ความสำคัญกับเส้นที่มีค่าน้อยที่สุดของ รวม e i ทุกจุดที่กำลังพิจารณา อย่างไรก็ตามไม่ใช่ทุกอย่างจะง่ายนักเนื่องจากการเบี่ยงเบนเชิงบวกก็จะมีการเบี่ยงเบนเชิงลบเช่นกัน

ปัญหานี้สามารถแก้ไขได้โดยใช้โมดูลส่วนเบี่ยงเบนหรือกำลังสอง วิธีสุดท้ายเป็นวิธีที่ใช้กันอย่างแพร่หลายที่สุด มีการใช้งานในหลายพื้นที่ รวมถึงการวิเคราะห์การถดถอย (ใช้งานใน Excel โดยใช้ฟังก์ชันในตัวสองฟังก์ชัน) และได้พิสูจน์ประสิทธิภาพมานานแล้ว

วิธีกำลังสองน้อยที่สุด

ดังที่คุณทราบ Excel มีฟังก์ชันผลรวมอัตโนมัติในตัวที่ช่วยให้คุณสามารถคำนวณค่าของค่าทั้งหมดที่อยู่ในช่วงที่เลือกได้ ดังนั้นจึงไม่มีอะไรขัดขวางเราจากการคำนวณค่าของนิพจน์ (e 1 2 + e 2 2 + e 3 2 + ... e n 2)

ในสัญกรณ์ทางคณิตศาสตร์ดูเหมือนว่า:

เนื่องจากการตัดสินใจเริ่มแรกให้ประมาณโดยใช้เส้นตรง เราจึงได้:

ดังนั้นงานในการค้นหาเส้นตรงที่อธิบายการพึ่งพาเฉพาะของปริมาณ X และ Y ได้ดีที่สุดจึงลงมาเพื่อคำนวณค่าต่ำสุดของฟังก์ชันของตัวแปรสองตัว:

ในการทำเช่นนี้ คุณต้องเทียบอนุพันธ์บางส่วนด้วยความเคารพกับตัวแปรใหม่ a และ b เป็นศูนย์ และแก้ระบบดั้งเดิมที่ประกอบด้วยสมการสองสมการที่มีรูปแบบที่ไม่รู้จัก 2 รูปแบบ:

หลังจากการแปลงอย่างง่าย ๆ รวมถึงการหารด้วย 2 และการเปลี่ยนแปลงผลรวม เราจะได้:

ตัวอย่างเช่น การแก้ปัญหาโดยใช้วิธีของแครมเมอร์ เราได้จุดคงที่โดยมีค่าสัมประสิทธิ์ a * และ b * นี่คือขั้นต่ำ กล่าวคือ เพื่อคาดการณ์ว่าร้านค้าจะมีมูลค่าการซื้อขายเท่าใดในพื้นที่ใดพื้นที่หนึ่ง เส้นตรง y = a * x + b * นั้นเหมาะสม ซึ่งเป็นแบบจำลองการถดถอยสำหรับตัวอย่างที่เป็นปัญหา แน่นอนว่าจะไม่อนุญาตให้คุณค้นหาผลลัพธ์ที่แน่นอน แต่จะช่วยให้คุณทราบว่าการซื้อพื้นที่เฉพาะด้วยเครดิตร้านค้าจะคุ้มค่าหรือไม่

วิธีการใช้กำลังสองน้อยที่สุดใน Excel

Excel มีฟังก์ชันสำหรับคำนวณค่าโดยใช้กำลังสองน้อยที่สุด โดยมีรูปแบบดังต่อไปนี้: “TREND” (ค่า Y ที่รู้จัก; ค่า X ที่รู้จัก; ค่า X ใหม่; ค่าคงที่) ลองใช้สูตรคำนวณ OLS ใน Excel กับตารางของเรา

ในการดำเนินการนี้ให้ป้อนเครื่องหมาย "=" ในเซลล์ที่ควรแสดงผลการคำนวณโดยใช้วิธีกำลังสองน้อยที่สุดใน Excel และเลือกฟังก์ชัน "TREND" ในหน้าต่างที่เปิดขึ้น ให้กรอกข้อมูลในช่องที่เหมาะสม โดยเน้นที่:

• ช่วงของค่าที่ทราบสำหรับ Y (ในกรณีนี้คือข้อมูลมูลค่าการซื้อขาย)
• ช่วง x 1 , …xn เช่น ขนาดของพื้นที่ค้าปลีก
• ทั้งค่าที่ทราบและไม่ทราบของ x ซึ่งคุณจำเป็นต้องค้นหาขนาดของมูลค่าการซื้อขาย (สำหรับข้อมูลเกี่ยวกับตำแหน่งของพวกเขาในแผ่นงานดูด้านล่าง)

นอกจากนี้ สูตรยังมีตัวแปรเชิงตรรกะ “Const” หากคุณป้อน 1 ลงในช่องที่เกี่ยวข้อง หมายความว่าคุณควรดำเนินการคำนวณ โดยสมมติว่า b = 0

หากคุณต้องการค้นหาการพยากรณ์ค่า x มากกว่าหนึ่งค่า หลังจากป้อนสูตรแล้ว คุณไม่ควรกด "Enter" แต่คุณต้องพิมพ์ชุดค่าผสม "Shift" + "Control" + "Enter" บนแป้นพิมพ์

คุณสมบัติบางอย่าง

การวิเคราะห์การถดถอยสามารถเข้าถึงได้แม้กระทั่งกับหุ่นจำลอง สูตร Excel สำหรับการทำนายค่าของอาร์เรย์ของตัวแปรที่ไม่รู้จัก (TREND) สามารถใช้ได้แม้กระทั่งกับผู้ที่ไม่เคยได้ยินเรื่องกำลังสองน้อยที่สุดมาก่อน แค่รู้คุณสมบัติบางอย่างของงานก็เพียงพอแล้ว โดยเฉพาะอย่างยิ่ง:

• หากคุณจัดเรียงช่วงของค่าที่ทราบของตัวแปร y ในหนึ่งแถวหรือคอลัมน์ แต่ละแถว (คอลัมน์) ที่มีค่า x ที่ทราบจะถูกรับรู้โดยโปรแกรมเป็นตัวแปรแยกกัน
• หากไม่ได้ระบุช่วงที่รู้จัก x ในหน้าต่าง TREND เมื่อใช้ฟังก์ชันใน Excel โปรแกรมจะถือว่าเป็นอาร์เรย์ที่ประกอบด้วยจำนวนเต็มซึ่งจำนวนนั้นสอดคล้องกับช่วงที่มีค่าที่กำหนดของ ตัวแปร y
• หากต้องการส่งออกอาร์เรย์ของค่า "ที่คาดการณ์" ต้องป้อนนิพจน์สำหรับการคำนวณแนวโน้มเป็นสูตรอาร์เรย์
• หากไม่ได้ระบุค่าใหม่ของ x ฟังก์ชัน TREND จะถือว่ามีค่าเท่ากับค่าที่ทราบ หากไม่ได้ระบุไว้ อาร์เรย์ 1 จะถูกใช้เป็นอาร์กิวเมนต์ 2; 3; 4;… ซึ่งสมส่วนกับช่วงที่มีพารามิเตอร์ y ระบุไว้แล้ว
• ช่วงที่มีค่า x ใหม่จะต้องมีแถวหรือคอลัมน์เหมือนกันหรือมากกว่านั้นกับช่วงที่มีค่า y ที่กำหนด กล่าวอีกนัยหนึ่ง จะต้องเป็นสัดส่วนกับตัวแปรอิสระ
• อาร์เรย์ที่มีค่า x ที่รู้จักสามารถมีตัวแปรได้หลายตัว อย่างไรก็ตามหากเรากำลังพูดถึงเพียงสิ่งเดียวก็จำเป็นที่ช่วงที่มีค่าที่กำหนดของ x และ y จะต้องเป็นสัดส่วน ในกรณีที่มีตัวแปรหลายตัว จำเป็นที่ช่วงที่มีค่า y ที่กำหนดจะต้องอยู่ในคอลัมน์เดียวหรือหนึ่งแถว

ฟังก์ชันการคาดการณ์

ดำเนินการโดยใช้ฟังก์ชั่นหลายอย่าง หนึ่งในนั้นเรียกว่า "การคาดการณ์" คล้ายกับ “แนวโน้ม” กล่าวคือ ให้ผลลัพธ์ของการคำนวณโดยใช้วิธีกำลังสองน้อยที่สุด อย่างไรก็ตาม มีเพียง X ตัวเดียวเท่านั้น ซึ่งไม่ทราบค่าของ Y

ตอนนี้คุณรู้สูตรใน Excel สำหรับหุ่นที่ช่วยให้คุณสามารถทำนายมูลค่าในอนาคตของตัวบ่งชี้เฉพาะตามแนวโน้มเชิงเส้นได้

ภารกิจคือการหาค่าสัมประสิทธิ์การพึ่งพาเชิงเส้นซึ่งเป็นฟังก์ชันของตัวแปรสองตัว กและ ขใช้ค่าที่น้อยที่สุด นั่นคือให้ กและ ขผลรวมของการเบี่ยงเบนกำลังสองของข้อมูลการทดลองจากเส้นตรงที่พบจะน้อยที่สุด นี่คือจุดรวมของวิธีกำลังสองน้อยที่สุด

ดังนั้น การแก้ปัญหาตัวอย่างจึงต้องหาจุดสิ้นสุดของฟังก์ชันของตัวแปรสองตัว

สูตรการหาค่าสัมประสิทธิ์ระบบสมการสองสมการที่ไม่ทราบค่าสองตัวจะถูกรวบรวมและแก้ไข การหาอนุพันธ์ย่อยของฟังก์ชัน โดยตัวแปร กและ ข, เราเปรียบอนุพันธ์เหล่านี้ให้เป็นศูนย์

เราแก้ระบบสมการผลลัพธ์โดยใช้วิธีใดก็ได้ (เช่น วิธีการแทนที่หรือวิธีแครมเมอร์) และรับสูตรสำหรับการค้นหาสัมประสิทธิ์โดยใช้วิธีกำลังสองน้อยที่สุด (LSM)

ที่ให้ไว้ กและ ขการทำงาน ใช้ค่าที่น้อยที่สุด

นั่นคือวิธีทั้งหมดของกำลังสองน้อยที่สุด สูตรการหาพารามิเตอร์ กมีผลรวม , , และพารามิเตอร์ n- จำนวนข้อมูลการทดลอง เราขอแนะนำให้คำนวณค่าของจำนวนเงินเหล่านี้แยกกัน ค่าสัมประสิทธิ์ ขพบได้หลังการคำนวณ ก.

พื้นที่หลักของการประยุกต์ใช้พหุนามดังกล่าวคือการประมวลผลข้อมูลการทดลอง (การสร้างสูตรเชิงประจักษ์) ความจริงก็คือพหุนามการประมาณค่าที่สร้างขึ้นจากค่าฟังก์ชันที่ได้รับจากการทดลองจะได้รับอิทธิพลอย่างมากจาก "สัญญาณรบกวนจากการทดลอง" ยิ่งไปกว่านั้นเมื่อทำการประมาณค่า โหนดการแก้ไขจะไม่สามารถทำซ้ำได้เช่น ไม่สามารถใช้ผลการทดลองซ้ำภายใต้เงื่อนไขเดียวกันได้ พหุนามกำลังสองเฉลี่ยรากจะช่วยลดสัญญาณรบกวนและช่วยให้คุณใช้ผลลัพธ์ของการทดลองหลายรายการได้

การบูรณาการเชิงตัวเลขและการสร้างความแตกต่าง ตัวอย่าง.

การบูรณาการเชิงตัวเลข– การคำนวณค่าอินทิกรัลจำกัดเขต (ปกติจะเป็นค่าประมาณ) การอินทิกรัลเชิงตัวเลขเป็นที่เข้าใจกันว่าเป็นชุดของวิธีการเชิงตัวเลขในการค้นหาค่าของอินทิกรัลจำนวนหนึ่ง

ความแตกต่างเชิงตัวเลข– ชุดวิธีการคำนวณค่าอนุพันธ์ของฟังก์ชันที่ระบุแยกกัน

บูรณาการ

การกำหนดปัญหาการกำหนดทางคณิตศาสตร์ของปัญหา: จำเป็นต้องค้นหาค่าของอินทิกรัลจำกัดเขต

โดยที่ a, b มีจำนวนจำกัด f(x) ต่อเนื่องกันบน [a, b]

เมื่อแก้ไขปัญหาในทางปฏิบัติ มักจะเกิดขึ้นว่าอินทิกรัลไม่สะดวกหรือเป็นไปไม่ได้ในการวิเคราะห์: มันอาจไม่แสดงในฟังก์ชันพื้นฐาน สามารถกำหนดอินทิกรัลในรูปแบบของตาราง ฯลฯ ในกรณีเช่นนี้ วิธีการอินทิเกรตเชิงตัวเลขคือ ใช้แล้ว. วิธีการบูรณาการเชิงตัวเลขใช้แทนที่พื้นที่ของสี่เหลี่ยมคางหมูโค้งด้วยผลรวมจำกัดของพื้นที่ของรูปทรงเรขาคณิตที่เรียบง่ายกว่าซึ่งสามารถคำนวณได้อย่างแน่นอน ในแง่นี้ พวกเขาพูดถึงการใช้สูตรการสร้างพื้นที่สี่เหลี่ยมจัตุรัส

วิธีการส่วนใหญ่ใช้การแสดงอินทิกรัลเป็นผลรวมจำกัด (สูตรการสร้างพื้นที่สี่เหลี่ยมจัตุรัส):

สูตรการสร้างพื้นที่สี่เหลี่ยมจัตุรัสนั้นขึ้นอยู่กับแนวคิดในการแทนที่กราฟของปริพันธ์ในส่วนการรวมด้วยฟังก์ชันในรูปแบบที่ง่ายกว่าซึ่งสามารถรวมเข้าด้วยกันในเชิงวิเคราะห์ได้อย่างง่ายดายและคำนวณได้ง่าย งานในการสร้างสูตรการสร้างพื้นที่สี่เหลี่ยมจัตุรัสนั้นเรียบง่ายที่สุดสำหรับแบบจำลองทางคณิตศาสตร์พหุนาม

สามารถแยกแยะวิธีการได้สามกลุ่ม:

1. วิธีการแบ่งส่วนการรวมออกเป็นระยะเท่ากัน การแบ่งพาร์ติชันเป็นช่วงจะดำเนินการล่วงหน้า โดยปกติแล้ว ช่วงเวลาจะถูกเลือกให้เท่ากัน (เพื่อให้ง่ายต่อการคำนวณฟังก์ชันที่จุดสิ้นสุดของช่วงเวลา) คำนวณพื้นที่และสรุปผล (สี่เหลี่ยม สี่เหลี่ยมคางหมู วิธีซิมป์สัน)

2. วิธีการแบ่งพาร์ติชันส่วนการรวมโดยใช้จุดพิเศษ (วิธี Gauss)

3. การคำนวณปริพันธ์โดยใช้ตัวเลขสุ่ม (วิธีมอนติคาร์โล)

วิธีสี่เหลี่ยมผืนผ้าปล่อยให้ฟังก์ชัน (รูป) จำเป็นต้องรวมเข้ากับตัวเลขในส่วนนั้น แบ่งส่วนออกเป็น N ช่วงเวลาเท่ากัน พื้นที่ของสี่เหลี่ยมคางหมูโค้ง N แต่ละอันสามารถถูกแทนที่ด้วยพื้นที่ของสี่เหลี่ยม

ความกว้างของสี่เหลี่ยมทั้งหมดเท่ากันและเท่ากัน:

หากต้องการเลือกความสูงของสี่เหลี่ยม คุณสามารถเลือกค่าของฟังก์ชันที่ขอบด้านซ้ายได้ ในกรณีนี้ ความสูงของสี่เหลี่ยมผืนผ้าแรกจะเป็น f(a) สี่เหลี่ยมผืนผ้าที่สอง - f(x 1),..., N-f(N-1)

หากเราใช้ค่าของฟังก์ชันบนเส้นขอบด้านขวาเพื่อเลือกความสูงของสี่เหลี่ยมผืนผ้า ในกรณีนี้ ความสูงของสี่เหลี่ยมผืนผ้าแรกจะเป็น f(x 1) ส่วนที่สอง - f(x 2) ... , ยังไม่มีข้อความ - ฉ(x ยังไม่มีข้อความ).

อย่างที่คุณเห็นในกรณีนี้สูตรใดสูตรหนึ่งให้ค่าประมาณอินทิกรัลที่มีส่วนเกินและสูตรที่สองมีข้อบกพร่อง มีวิธีอื่น - การใช้ค่าของฟังก์ชันที่อยู่กึ่งกลางของส่วนการรวมเพื่อประมาณ:

การประมาณค่าความผิดพลาดสัมบูรณ์ของวิธีสี่เหลี่ยม (ตรงกลาง)

การประมาณค่าความคลาดเคลื่อนสัมบูรณ์ของวิธีสี่เหลี่ยมด้านซ้ายและขวา

ตัวอย่าง.คำนวณช่วงเวลาทั้งหมดและแบ่งช่วงเวลาออกเป็นสี่ส่วน

สารละลาย.การคำนวณเชิงวิเคราะห์ของอินทิกรัลนี้ให้ I=arctg(1)–arctg(0)=0.7853981634 ในกรณีของเรา:

1)ซ = 1; เอ็กซ์โอ = 0; x1 = 1;

2) ชั่วโมง = 0.25 (1/4); x0 = 0; x1 = 0.25; x2 = 0.5; x3 = 0.75; x4 = 1;

ลองคำนวณโดยใช้วิธีสี่เหลี่ยมด้านซ้าย:

ลองคำนวณโดยใช้วิธีสี่เหลี่ยมด้านขวา:

ลองคำนวณโดยใช้วิธีสี่เหลี่ยมผืนผ้าเฉลี่ย:

วิธีสี่เหลี่ยมคางหมูใช้พหุนามดีกรีหนึ่ง (เส้นตรงที่ลากผ่านจุดสองจุด) เพื่อประมาณค่าผลลัพธ์ในสูตรสี่เหลี่ยมคางหมู จุดสิ้นสุดของเซ็กเมนต์การรวมจะถูกถือเป็นโหนดการแก้ไข ดังนั้นสี่เหลี่ยมคางหมูโค้งจะถูกแทนที่ด้วยสี่เหลี่ยมคางหมูธรรมดาซึ่งพื้นที่ดังกล่าวสามารถพบได้เป็นผลคูณของผลรวมครึ่งหนึ่งของฐานและความสูง

ในกรณีของเซ็กเมนต์การรวม N สำหรับโหนดทั้งหมด ยกเว้นจุดที่สุดของเซกเมนต์ ค่าของฟังก์ชันจะรวมอยู่ในผลรวมทั้งหมดสองครั้ง (เนื่องจากสี่เหลี่ยมคางหมูที่อยู่ติดกันมีด้านเดียวร่วมกัน)

สูตรสี่เหลี่ยมคางหมูหาได้จากผลรวมครึ่งหนึ่งของสูตรรูปสี่เหลี่ยมผืนผ้าตามขอบด้านขวาและด้านซ้ายของส่วน:

ตรวจสอบความเสถียรของสารละลายตามกฎแล้ว ยิ่งความยาวของแต่ละช่วงเวลาสั้นลง เช่น ยิ่งจำนวนช่วงเวลาเหล่านี้มากขึ้นเท่าใดความแตกต่างระหว่างค่าโดยประมาณและค่าที่แน่นอนของอินทิกรัลก็จะน้อยลงเท่านั้น นี่เป็นเรื่องจริงสำหรับฟังก์ชันส่วนใหญ่ ในวิธีสี่เหลี่ยมคางหมูข้อผิดพลาดในการคำนวณอินทิกรัล ϭ นั้นเป็นสัดส่วนโดยประมาณกับกำลังสองของขั้นตอนการอินทิเกรต (ϭ ~ h 2) ดังนั้นในการคำนวณอินทิกรัลของฟังก์ชันบางอย่างในรูปของ a, b จำเป็นต้อง แบ่งส่วนออกเป็นช่วง N 0 แล้วหาผลรวมของพื้นที่สี่เหลี่ยมคางหมู จากนั้นคุณจะต้องเพิ่มจำนวนช่วงเวลา N 1 คำนวณผลรวมของสี่เหลี่ยมคางหมูอีกครั้งและเปรียบเทียบค่าผลลัพธ์กับผลลัพธ์ก่อนหน้า ควรทำซ้ำจนกระทั่ง (N i) จนกระทั่งได้ความแม่นยำที่ระบุของผลลัพธ์ (เกณฑ์การลู่เข้า)

สำหรับวิธีสี่เหลี่ยมและสี่เหลี่ยมคางหมู โดยทั่วไปในแต่ละขั้นตอนการวนซ้ำ จำนวนช่วงเวลาจะเพิ่มขึ้น 2 เท่า (N i +1 = 2N i)

เกณฑ์การลู่เข้า:

ข้อได้เปรียบหลักของกฎสี่เหลี่ยมคางหมูคือความเรียบง่าย อย่างไรก็ตาม หากการคำนวณอินทิกรัลต้องใช้ความแม่นยำสูง วิธีนี้อาจต้องใช้การวนซ้ำมากเกินไป

ข้อผิดพลาดสัมบูรณ์ของวิธีสี่เหลี่ยมคางหมูประมาณว่า
.

ตัวอย่าง.คำนวณอินทิกรัลจำกัดเขตโดยประมาณโดยใช้สูตรสี่เหลี่ยมคางหมู

ก) การแบ่งส่วนของการบูรณาการออกเป็น 3 ส่วน
b) แบ่งส่วนของการรวมออกเป็น 5 ส่วน

สารละลาย:
ก) ตามเงื่อนไขนั้น ส่วนบูรณาการจะต้องแบ่งออกเป็น 3 ส่วน กล่าวคือ
ลองคำนวณความยาวของแต่ละส่วนของพาร์ติชัน: .

ดังนั้นสูตรทั่วไปของสี่เหลี่ยมคางหมูจึงลดลงเหลือขนาดที่น่าพอใจ:

ในที่สุด:

ฉันขอเตือนคุณว่าค่าผลลัพธ์คือค่าโดยประมาณของพื้นที่

b) มาแบ่งส่วนการรวมออกเป็น 5 ส่วนเท่า ๆ กันนั่นคือ ด้วยการเพิ่มจำนวนเซ็กเมนต์เราจะเพิ่มความแม่นยำในการคำนวณ

ถ้า ดังนั้นสูตรสี่เหลี่ยมคางหมูจะอยู่ในรูปแบบต่อไปนี้:

มาหาขั้นตอนของพาร์ติชั่นกัน:
นั่นคือความยาวของส่วนตรงกลางแต่ละส่วนคือ 0.6

เมื่อจบงาน จะสะดวกในการคำนวณทั้งหมดอย่างเป็นทางการโดยใช้ตารางการคำนวณ:

ในบรรทัดแรกเราเขียนว่า "ตัวนับ"

ผลที่ตามมา:

มีการชี้แจงจริงๆและเป็นเรื่องจริงจัง!
หากเป็น 3 ส่วนพาร์ติชันก็จะมี 5 ส่วน หากคุณใช้ส่วนที่ใหญ่กว่านี้ => มันจะแม่นยำยิ่งขึ้น

สูตรซิมป์สันสูตรสี่เหลี่ยมคางหมูให้ผลลัพธ์ที่ขึ้นอยู่กับขนาดขั้นตอน h อย่างมาก ซึ่งส่งผลต่อความแม่นยำในการคำนวณอินทิกรัลบางตัว โดยเฉพาะอย่างยิ่งในกรณีที่ฟังก์ชันนั้นไม่ใช่แบบโมโนโทนิก สันนิษฐานได้ว่าความแม่นยำของการคำนวณจะเพิ่มขึ้นหากแทนที่จะใช้ส่วนตรงแทนที่ส่วนโค้งของกราฟของฟังก์ชัน f(x) เราใช้ตัวอย่างเช่นชิ้นส่วนของพาราโบลาที่กำหนดผ่านจุดที่อยู่ติดกันสามจุดของกราฟ การตีความทางเรขาคณิตนี้เป็นไปตามวิธีของซิมป์สันในการคำนวณอินทิกรัลจำกัดเขต ช่วงการรวม a,b ทั้งหมดแบ่งออกเป็นส่วน N ส่วนความยาวของส่วนจะเท่ากับ h=(b-a)/N เช่นกัน

สูตรของ Simpson มีลักษณะดังนี้:

ระยะเวลาที่เหลือ

เมื่อความยาวของเซ็กเมนต์เพิ่มขึ้น ความแม่นยำของสูตรจะลดลง ดังนั้นเพื่อเพิ่มความแม่นยำ จึงใช้สูตรผสมของซิมป์สัน ช่วงการรวมทั้งหมดแบ่งออกเป็นเซ็กเมนต์ N ที่เหมือนกันเป็นจำนวนคู่ ความยาวของเซ็กเมนต์จะเท่ากับ h=(b-a)/N สูตรสารประกอบของซิมป์สันคือ:

ในสูตร นิพจน์ในวงเล็บจะแสดงผลรวมของค่าปริพันธ์ที่ส่วนท้ายของส่วนภายในคี่และคู่ตามลำดับ

สูตรที่เหลือของซิมป์สันเป็นสัดส่วนกับกำลังที่สี่ของขั้นตอน:

ตัวอย่าง:ใช้กฎของซิมป์สันในการคำนวณอินทิกรัล (วิธีแก้ปัญหาที่แน่นอน - 0.2)

วิธีเกาส์

สูตรกำลังสองแบบเกาส์เซียน. หลักการพื้นฐานของสูตรการสร้างพื้นที่สี่เหลี่ยมจัตุรัสประเภทที่สองมองเห็นได้จากรูปที่ 1.12: จำเป็นต้องวางจุดในลักษณะนี้ เอ็กซ์ 0 และ เอ็กซ์ 1 ภายในส่วน [ ก;ข] เพื่อให้พื้นที่รวมของ "สามเหลี่ยม" เท่ากับพื้นที่ของ "ส่วน" เมื่อใช้สูตรเกาส์ ส่วนเดิม [ ก;ข] ถูกลดขนาดลงเป็นส่วน [-1;1] โดยการแทนที่ตัวแปร เอ็กซ์บน

0.5∙(ข– ก)∙ที+ 0.5∙(ข + ก).

แล้ว , ที่ไหน .

การทดแทนดังกล่าวเป็นไปได้หาก กและ ขมีขอบเขตจำกัดและฟังก์ชัน ฉ(x) ต่อเนื่องบน [ ก;ข] สูตรเกาส์ที่ nคะแนน x ฉัน, ฉัน=0,1,..,n-1 ภายในส่วน [ ก;ข]:

, (1.27)

ที่ไหน Tiและ ฉันสำหรับต่างๆ nมีระบุไว้ในหนังสืออ้างอิง เช่น เมื่อใด n=2 ก 0 =ก 1 =1; ที่ n=3: ที 0 =ต 2 "0.775, ที 1 =0, ก 0 =ก 2 "0.555, ก 1"0.889.

สูตรกำลังสองแบบเกาส์เซียน

ได้มาจากฟังก์ชันน้ำหนักเท่ากับความสามัคคี พี(เอ็กซ์)= 1 และโหนด x ฉันซึ่งเป็นรากของพหุนามลีเจนเดร

ราคาต่อรอง ฉันคำนวณง่ายโดยใช้สูตร

ฉัน=0,1,2,...n.

ค่าของโหนดและค่าสัมประสิทธิ์สำหรับ n=2,3,4,5 แสดงไว้ในตาราง

คำสั่ง	โหนด	ราคาต่อรอง
n=2	x1=0 x 0 =-x2=0.7745966692	เอ 1=8/9 ก 0 = ก 2=5/9
n=3	x 2 =-x1=0.3399810436 x 3 =-x 0=0.8611363116	ก 1 = ก 2=0.6521451549 ก 0 = ก 3=0.6521451549
n=4	x 2 = 0 x 3 = -x 1 = 0.5384693101 x 4 =-x 0 =0.9061798459	ก 0 =0.568888899 ก 3 =ก 1 =0.4786286705 ก 0 =ก 4 =0.2869268851
n=5	x 5 = -x 0 =0.9324695142 x 4 = -x 1 =0.6612093865 x 3 = -x 2 =0.2386191861	ก 5 =ก 0 =0.1713244924 ก 4 =ก 1 =0.3607615730 ก 3 =ก 2 =0.4679139346

ตัวอย่าง.คำนวณค่าโดยใช้สูตรเกาส์สำหรับ n=2:

ค่าที่แน่นอน: .

อัลกอริธึมสำหรับการคำนวณอินทิกรัลโดยใช้สูตรเกาส์ไม่ได้เกี่ยวข้องกับการเพิ่มจำนวนไมโครเซกเมนต์เป็นสองเท่า แต่เพิ่มจำนวนการจัดลำดับ 1 และเปรียบเทียบค่าที่ได้รับของอินทิกรัล ข้อดีของสูตรเกาส์คือมีความแม่นยำสูงโดยมีจำนวนเลขลำดับค่อนข้างน้อย ข้อเสีย: ไม่สะดวกสำหรับการคำนวณด้วยตนเอง จำเป็นต้องเก็บค่าไว้ในหน่วยความจำคอมพิวเตอร์ Ti, ฉันสำหรับต่างๆ n.

ข้อผิดพลาดของสูตรการสร้างพื้นที่สี่เหลี่ยมจัตุรัสเกาส์เซียนในส่วนจะเป็น สำหรับสูตรเทอมที่เหลือจะเป็น และค่าสัมประสิทธิ์ α เอ็นลดลงอย่างรวดเร็วตามการเติบโต เอ็น. ที่นี่

สูตรเกาส์เซียนให้ความแม่นยำสูงแม้จะมีโหนดจำนวนน้อย (ตั้งแต่ 4 ถึง 10) ในกรณีนี้ ในการคำนวณเชิงปฏิบัติจำนวนโหนดมีตั้งแต่หลายร้อยถึงหลายพัน โปรดทราบด้วยว่าน้ำหนักของการสร้างสี่เหลี่ยมจัตุรัสแบบเกาส์เซียนจะเป็นค่าบวกเสมอ ซึ่งทำให้มั่นใจในความเสถียรของอัลกอริทึมในการคำนวณผลรวม

วิธีการกำลังสองน้อยที่สุด (OLS) ช่วยให้คุณสามารถประมาณปริมาณต่างๆ โดยใช้ผลลัพธ์ของการวัดหลายๆ ครั้งที่มีข้อผิดพลาดแบบสุ่ม

ลักษณะของบรรษัทข้ามชาติ

แนวคิดหลักของวิธีนี้คือผลรวมของข้อผิดพลาดกำลังสองถือเป็นเกณฑ์สำหรับความแม่นยำในการแก้ปัญหาซึ่งพวกเขาพยายามลดให้เหลือน้อยที่สุด เมื่อใช้วิธีการนี้ สามารถใช้ทั้งวิธีเชิงตัวเลขและเชิงวิเคราะห์ได้

โดยเฉพาะอย่างยิ่ง ในการใช้งานเชิงตัวเลข วิธีกำลังสองน้อยที่สุดเกี่ยวข้องกับการวัดตัวแปรสุ่มที่ไม่รู้จักให้ได้มากที่สุด ยิ่งไปกว่านั้น ยิ่งการคำนวณมากเท่าไร การแก้ปัญหาก็จะยิ่งแม่นยำมากขึ้นเท่านั้น จากชุดการคำนวณนี้ (ข้อมูลเริ่มต้น) จะได้รับชุดโซลูชันโดยประมาณอีกชุดหนึ่ง จากนั้นจึงเลือกโซลูชันที่ดีที่สุด หากชุดของโซลูชันถูกกำหนดพารามิเตอร์ วิธีกำลังสองน้อยที่สุดจะลดลงเพื่อค้นหาค่าที่เหมาะสมที่สุดของพารามิเตอร์

แนวทางการวิเคราะห์สำหรับการนำ LSM ไปใช้กับชุดข้อมูลเริ่มต้น (การวัด) และชุดโซลูชันที่คาดหวัง จะมีการกำหนดวิธี (เชิงหน้าที่) บางอย่าง ซึ่งสามารถแสดงได้ด้วยสูตรที่ได้รับเป็นสมมติฐานบางประการที่ต้องมีการยืนยัน ในกรณีนี้ วิธีกำลังสองน้อยที่สุดจะใช้เพื่อค้นหาค่าต่ำสุดของฟังก์ชันนี้จากชุดข้อผิดพลาดกำลังสองของข้อมูลต้นฉบับ

โปรดทราบว่าไม่ใช่ข้อผิดพลาด แต่เป็นกำลังสองของข้อผิดพลาด ทำไม ความจริงก็คือการเบี่ยงเบนการวัดจากค่าที่แน่นอนมักมีทั้งบวกและลบ เมื่อพิจารณาค่าเฉลี่ยการสรุปอย่างง่ายอาจนำไปสู่ข้อสรุปที่ไม่ถูกต้องเกี่ยวกับคุณภาพของการประมาณเนื่องจากการยกเลิกค่าบวกและค่าลบจะลดพลังในการสุ่มตัวอย่างการวัดหลายรายการ และส่งผลให้มีความถูกต้องแม่นยำในการประเมิน

เพื่อป้องกันไม่ให้สิ่งนี้เกิดขึ้น ค่าเบี่ยงเบนกำลังสองจะถูกรวมเข้าด้วยกัน ยิ่งไปกว่านั้น เพื่อที่จะปรับขนาดของค่าที่วัดได้และการประมาณสุดท้ายให้เท่ากัน จะมีการแยกผลรวมของข้อผิดพลาดกำลังสองออกมา

แอปพลิเคชั่น MNC บางตัว

MNC มีการใช้กันอย่างแพร่หลายในด้านต่างๆ ตัวอย่างเช่น ในทฤษฎีความน่าจะเป็นและสถิติทางคณิตศาสตร์ วิธีการนี้ใช้ในการกำหนดคุณลักษณะของตัวแปรสุ่ม เช่น ค่าเบี่ยงเบนมาตรฐาน ซึ่งกำหนดความกว้างของช่วงค่าของตัวแปรสุ่ม

การประมาณข้อมูลการทดลองเป็นวิธีการที่ใช้การแทนที่ข้อมูลที่ได้รับจากการทดลองด้วยฟังก์ชันการวิเคราะห์ที่ใกล้เคียงที่สุดหรือเกิดขึ้นพร้อมกันที่จุดสำคัญด้วยค่าดั้งเดิม (ข้อมูลที่ได้รับระหว่างการทดลองหรือการทดลอง) ปัจจุบัน มีสองวิธีในการกำหนดฟังก์ชันการวิเคราะห์:

โดยการสร้างพหุนามการประมาณค่า n องศาที่ผ่านไป โดยตรงผ่านทุกจุดอาร์เรย์ข้อมูลที่กำหนด ในกรณีนี้ ฟังก์ชันการประมาณจะแสดงในรูปแบบของ: พหุนามการประมาณค่าในรูปแบบลากรองจ์ หรือพหุนามการประมาณค่าในรูปแบบนิวตัน

โดยการสร้างพหุนามประมาณ n องศาที่ผ่านไป ในบริเวณใกล้เคียงกับจุดต่างๆจากอาร์เรย์ข้อมูลที่กำหนดให้ ดังนั้นฟังก์ชันการประมาณจึงทำให้สัญญาณรบกวนแบบสุ่ม (หรือข้อผิดพลาด) ที่อาจเกิดขึ้นระหว่างการทดลองราบรื่นขึ้น โดยค่าที่วัดได้ระหว่างการทดลองขึ้นอยู่กับปัจจัยสุ่มที่ผันผวนตามกฎการสุ่มของตัวเอง (ข้อผิดพลาดในการวัดหรือเครื่องมือ ความไม่ถูกต้องหรือการทดลอง) ข้อผิดพลาด) ในกรณีนี้ ฟังก์ชันการประมาณจะถูกกำหนดโดยใช้วิธีกำลังสองน้อยที่สุด

วิธีกำลังสองน้อยที่สุด(ในวรรณคดีอังกฤษ Ordinary Least Squares, OLS) เป็นวิธีทางคณิตศาสตร์ที่มีพื้นฐานอยู่บนการหาฟังก์ชันการประมาณที่สร้างขึ้นในบริเวณที่ใกล้กับจุดมากที่สุดจากอาร์เรย์ข้อมูลการทดลองที่กำหนด ความใกล้เคียงของฟังก์ชันดั้งเดิมและฟังก์ชันการประมาณ F(x) ถูกกำหนดโดยการวัดเชิงตัวเลข กล่าวคือ ผลรวมของการเบี่ยงเบนกำลังสองของข้อมูลการทดลองจากเส้นโค้งโดยประมาณ F(x) ควรมีค่าน้อยที่สุด

เส้นโค้งโดยประมาณที่สร้างขึ้นโดยใช้วิธีกำลังสองน้อยที่สุด

ใช้วิธีการกำลังสองน้อยที่สุด:

เพื่อแก้ระบบสมการที่กำหนดเกินกำหนดเมื่อจำนวนสมการเกินจำนวนที่ไม่ทราบ

เพื่อค้นหาคำตอบในกรณีของระบบสมการไม่เชิงเส้นธรรมดา (ไม่ได้กำหนดไว้เกินกำหนด)

เพื่อประมาณค่าจุดด้วยฟังก์ชันการประมาณค่าบางอย่าง

ฟังก์ชันการประมาณโดยใช้วิธีกำลังสองน้อยที่สุดถูกกำหนดจากเงื่อนไขของผลรวมขั้นต่ำของการเบี่ยงเบนกำลังสองของฟังก์ชันการประมาณที่คำนวณจากอาร์เรย์ข้อมูลการทดลองที่กำหนด เกณฑ์ของวิธีกำลังสองน้อยที่สุดนี้เขียนเป็นนิพจน์ต่อไปนี้:

ค่าของฟังก์ชันการประมาณที่คำนวณได้ที่จุดปม

อาร์เรย์ข้อมูลการทดลองที่กำหนดที่จุดสำคัญ

เกณฑ์กำลังสองมีคุณสมบัติ "ดี" หลายประการ เช่น ความสามารถในการหาอนุพันธ์ ซึ่งเป็นวิธีแก้ปัญหาเฉพาะสำหรับปัญหาการประมาณด้วยฟังก์ชันการประมาณพหุนาม

ฟังก์ชันการประมาณจะเป็นพหุนามของดีกรี m ขึ้นอยู่กับเงื่อนไขของปัญหา

ระดับของฟังก์ชันการประมาณไม่ได้ขึ้นอยู่กับจำนวนจุดปม แต่ขนาดของมันจะต้องน้อยกว่าขนาด (จำนวนจุด) ของอาร์เรย์ข้อมูลการทดลองที่กำหนดเสมอ

∙ หากระดับของฟังก์ชันการประมาณคือ m=1 เราจะประมาณฟังก์ชันแบบตารางด้วยเส้นตรง (การถดถอยเชิงเส้น)

∙ หากระดับของฟังก์ชันการประมาณคือ m=2 เราจะประมาณฟังก์ชันตารางด้วยพาราโบลากำลังสอง (การประมาณกำลังสอง)

∙ หากระดับของฟังก์ชันการประมาณคือ m=3 เราจะประมาณฟังก์ชันตารางด้วยลูกบาศก์พาราโบลา (การประมาณลูกบาศก์)

ในกรณีทั่วไป เมื่อจำเป็นต้องสร้างพหุนามโดยประมาณขององศา m สำหรับค่าตารางที่กำหนด เงื่อนไขสำหรับผลรวมขั้นต่ำของค่าเบี่ยงเบนกำลังสองเหนือจุดปมทั้งหมดจะถูกเขียนใหม่ในรูปแบบต่อไปนี้:

- ค่าสัมประสิทธิ์ที่ไม่รู้จักของพหุนามโดยประมาณของระดับ m

จำนวนค่าตารางที่ระบุ

เงื่อนไขที่จำเป็นสำหรับการมีอยู่ของฟังก์ชันขั้นต่ำคือการเท่ากับศูนย์ของอนุพันธ์ย่อยบางส่วนเทียบกับตัวแปรที่ไม่รู้จัก . เป็นผลให้เราได้รับระบบสมการดังต่อไปนี้:

มาแปลงระบบสมการเชิงเส้นที่ได้: เปิดวงเล็บแล้วย้ายพจน์อิสระไปทางด้านขวาของนิพจน์ เป็นผลให้ระบบผลลัพธ์ของนิพจน์พีชคณิตเชิงเส้นจะถูกเขียนในรูปแบบต่อไปนี้:

ระบบนิพจน์พีชคณิตเชิงเส้นนี้สามารถเขียนใหม่ได้ในรูปแบบเมทริกซ์:

เป็นผลให้ได้ระบบสมการเชิงเส้นขนาด m+1 ซึ่งประกอบด้วยค่าไม่ทราบค่า m+1 ระบบนี้สามารถแก้ไขได้โดยใช้วิธีใดก็ได้ในการแก้สมการพีชคณิตเชิงเส้น (เช่น วิธีเกาส์เซียน) จากผลของการแก้ปัญหา จะพบพารามิเตอร์ที่ไม่รู้จักของฟังก์ชันการประมาณซึ่งให้ผลรวมขั้นต่ำของการเบี่ยงเบนกำลังสองของฟังก์ชันการประมาณจากข้อมูลต้นฉบับ เช่น การประมาณกำลังสองที่ดีที่สุดที่เป็นไปได้ ควรจำไว้ว่าหากข้อมูลต้นฉบับเปลี่ยนค่าสัมประสิทธิ์ทั้งหมดจะเปลี่ยนค่า เนื่องจากข้อมูลต้นฉบับจะถูกกำหนดโดยสมบูรณ์

การประมาณแหล่งข้อมูลโดยการพึ่งพาเชิงเส้น

(การถดถอยเชิงเส้น)

เป็นตัวอย่าง ลองพิจารณาเทคนิคในการกำหนดฟังก์ชันการประมาณ ซึ่งระบุไว้ในรูปแบบของการพึ่งพาเชิงเส้น ตามวิธีกำลังสองน้อยที่สุด เงื่อนไขสำหรับผลรวมขั้นต่ำของส่วนเบี่ยงเบนกำลังสองเขียนไว้ในรูปแบบต่อไปนี้:

พิกัดของโหนดตาราง

ค่าสัมประสิทธิ์ที่ไม่รู้จักของฟังก์ชันการประมาณ ซึ่งระบุเป็นการพึ่งพาเชิงเส้น

เงื่อนไขที่จำเป็นสำหรับการมีอยู่ของฟังก์ชันขั้นต่ำคือความเสมอภาคกับศูนย์ของอนุพันธ์ย่อยของฟังก์ชันด้วยความเคารพต่อตัวแปรที่ไม่รู้จัก เป็นผลให้เราได้รับระบบสมการดังต่อไปนี้:

ให้เราแปลงระบบสมการเชิงเส้นผลลัพธ์

เราแก้ระบบผลลัพธ์ของสมการเชิงเส้น ค่าสัมประสิทธิ์ของฟังก์ชันการประมาณในรูปแบบการวิเคราะห์ถูกกำหนดดังนี้ (วิธีของแครเมอร์):

ค่าสัมประสิทธิ์เหล่านี้ช่วยให้มั่นใจได้ถึงการสร้างฟังก์ชันการประมาณเชิงเส้นตามเกณฑ์ในการลดผลรวมของกำลังสองของฟังก์ชันการประมาณจากค่าตารางที่กำหนด (ข้อมูลการทดลอง)

อัลกอริทึมสำหรับการนำวิธีกำลังสองน้อยที่สุดไปใช้

1. ข้อมูลเริ่มต้น:

มีการระบุอาร์เรย์ของข้อมูลการทดลองที่มีจำนวนการวัด N

มีการระบุระดับของพหุนามโดยประมาณ (m)

2. อัลกอริธึมการคำนวณ:

2.1. ค่าสัมประสิทธิ์ถูกกำหนดไว้สำหรับการสร้างระบบสมการที่มีมิติ

ค่าสัมประสิทธิ์ของระบบสมการ (ด้านซ้ายของสมการ)

- ดัชนีหมายเลขคอลัมน์ของเมทริกซ์จตุรัสของระบบสมการ

เงื่อนไขอิสระของระบบสมการเชิงเส้น (ด้านขวาของสมการ)

- ดัชนีหมายเลขแถวของเมทริกซ์จตุรัสของระบบสมการ

2.2. การสร้างระบบสมการเชิงเส้นที่มีมิติ

2.3. การแก้ระบบสมการเชิงเส้นเพื่อกำหนดค่าสัมประสิทธิ์ที่ไม่รู้จักของพหุนามประมาณระดับ m

2.4 การหาผลรวมของการเบี่ยงเบนกำลังสองของพหุนามโดยประมาณจากค่าดั้งเดิมที่จุดปมทั้งหมด

ค่าที่พบของผลรวมของการเบี่ยงเบนกำลังสองคือค่าต่ำสุดที่เป็นไปได้

การประมาณโดยใช้ฟังก์ชันอื่น

ควรสังเกตว่าเมื่อประมาณข้อมูลต้นฉบับตามวิธีกำลังสองน้อยที่สุด บางครั้งฟังก์ชันลอการิทึม ฟังก์ชันเอ็กซ์โปเนนเชียล และกำลังก็ถูกใช้เป็นฟังก์ชันการประมาณ

การประมาณลอการิทึม

ลองพิจารณากรณีที่ฟังก์ชันการประมาณถูกกำหนดโดยฟังก์ชันลอการิทึมของแบบฟอร์ม:

วิธีกำลังสองน้อยที่สุด

วิธีกำลังสองน้อยที่สุด ( OLS, OLS, กำลังสองน้อยที่สุดสามัญ) - หนึ่งในวิธีพื้นฐานของการวิเคราะห์การถดถอยสำหรับการประมาณค่าพารามิเตอร์ที่ไม่รู้จักของแบบจำลองการถดถอยโดยใช้ข้อมูลตัวอย่าง วิธีการนี้ขึ้นอยู่กับการลดผลรวมของกำลังสองของเศษที่เหลือจากการถดถอยให้เหลือน้อยที่สุด

ควรสังเกตว่าวิธีกำลังสองน้อยที่สุดนั้นสามารถเรียกได้ว่าเป็นวิธีการแก้ปัญหาในพื้นที่ใดๆ หากวิธีการแก้ปัญหาอยู่ในหรือเป็นไปตามเกณฑ์บางประการในการลดผลรวมของกำลังสองของฟังก์ชันบางอย่างของตัวแปรที่ต้องการให้เหลือน้อยที่สุด ดังนั้น วิธีกำลังสองน้อยที่สุดยังสามารถใช้สำหรับการประมาณค่า (การประมาณ) ของฟังก์ชันที่กำหนดโดยฟังก์ชันอื่น (ที่ง่ายกว่า) เมื่อค้นหาชุดของปริมาณที่เป็นไปตามสมการหรือข้อจำกัด ซึ่งจำนวนเกินจำนวนเหล่านี้ ฯลฯ

สาระสำคัญของ MNC

ให้แบบจำลอง (พาราเมตริก) ของความสัมพันธ์ความน่าจะเป็น (การถดถอย) ระหว่างตัวแปร (อธิบาย) ได้รับ ยและปัจจัยหลายประการ (ตัวแปรอธิบาย) x

เวกเตอร์ของพารามิเตอร์แบบจำลองที่ไม่รู้จักอยู่ที่ไหน

- ข้อผิดพลาดของโมเดลแบบสุ่ม

ให้มีการสังเกตตัวอย่างค่าของตัวแปรเหล่านี้ด้วย อนุญาต เป็นหมายเลขสังเกต () จากนั้นเป็นค่าของตัวแปรในการสังเกตครั้งที่ 3 จากนั้นสำหรับค่าที่กำหนดของพารามิเตอร์ b คุณสามารถคำนวณค่าทางทฤษฎี (แบบจำลอง) ของตัวแปรที่อธิบาย y:

ขนาดของสิ่งตกค้างขึ้นอยู่กับค่าของพารามิเตอร์ b

สาระสำคัญของวิธีกำลังสองน้อยที่สุด (ธรรมดา, คลาสสิก) คือการค้นหาพารามิเตอร์ b ซึ่งผลรวมของกำลังสองของส่วนที่เหลือ (อังกฤษ. ผลรวมที่เหลือของกำลังสอง) จะน้อยที่สุด:

ในกรณีทั่วไป ปัญหานี้สามารถแก้ไขได้โดยวิธีการปรับให้เหมาะสมเชิงตัวเลข (การย่อขนาด) ในกรณีนี้พวกเขาพูดถึง กำลังสองน้อยที่สุดแบบไม่เชิงเส้น(NLS หรือ NLLS - ภาษาอังกฤษ) กำลังสองน้อยที่สุดที่ไม่ใช่เชิงเส้น). ในหลายกรณี เป็นไปได้ที่จะได้รับโซลูชันเชิงวิเคราะห์ ในการแก้ปัญหาการย่อเล็กสุดจำเป็นต้องค้นหาจุดที่คงที่ของฟังก์ชันโดยสร้างความแตกต่างด้วยพารามิเตอร์ที่ไม่รู้จัก b เท่ากับอนุพันธ์ให้เป็นศูนย์และแก้ระบบสมการผลลัพธ์:

หากข้อผิดพลาดแบบสุ่มของแบบจำลองมีการกระจายตามปกติ มีความแปรปรวนเท่ากัน และไม่มีความสัมพันธ์กัน การประมาณค่าพารามิเตอร์ OLS จะเหมือนกับการประมาณค่าความน่าจะเป็นสูงสุด (MLM)

OLS ในกรณีของโมเดลเชิงเส้น

ปล่อยให้การพึ่งพาการถดถอยเป็นเส้นตรง:

อนุญาต ยเป็นเวกเตอร์คอลัมน์ของการสังเกตของตัวแปรที่อธิบายและเป็นเมทริกซ์ของการสังเกตปัจจัย (แถวของเมทริกซ์เป็นเวกเตอร์ของค่าตัวประกอบในการสังเกตที่กำหนด คอลัมน์เป็นเวกเตอร์ของค่าของปัจจัยที่กำหนด ในการสังเกตทั้งหมด) การแสดงเมทริกซ์ของโมเดลเชิงเส้นคือ:

จากนั้นเวกเตอร์ของการประมาณค่าของตัวแปรที่อธิบายและเวกเตอร์ของเศษการถดถอยจะเท่ากัน

ดังนั้น ผลรวมของกำลังสองของเศษที่เหลือจากการถดถอยจะเท่ากับ

การแยกฟังก์ชันนี้ด้วยความเคารพต่อเวกเตอร์ของพารามิเตอร์และการทำให้อนุพันธ์เป็นศูนย์เราจะได้ระบบสมการ (ในรูปแบบเมทริกซ์):

.

การแก้ระบบสมการนี้ให้สูตรทั่วไปสำหรับการประมาณค่ากำลังสองน้อยที่สุดสำหรับแบบจำลองเชิงเส้น:

เพื่อวัตถุประสงค์ในการวิเคราะห์ การแสดงสูตรหลังนี้มีประโยชน์ หากอยู่ในแบบจำลองการถดถอยข้อมูล อยู่ตรงกลางจากนั้นในการแทนค่านี้ เมทริกซ์ตัวแรกมีความหมายของเมทริกซ์ความแปรปรวนร่วมตัวอย่างของปัจจัย และเมทริกซ์ตัวที่สองคือเวกเตอร์ของความแปรปรวนร่วมของปัจจัยที่มีตัวแปรตาม หากนอกเหนือจากข้อมูลแล้วยัง ทำให้เป็นมาตรฐานถึง MSE (นั่นคือท้ายที่สุดแล้ว ได้มาตรฐาน) จากนั้นเมทริกซ์แรกมีความหมายของเมทริกซ์ความสัมพันธ์ตัวอย่างของปัจจัย เวกเตอร์ที่สอง - เวกเตอร์ของความสัมพันธ์ตัวอย่างของปัจจัยกับตัวแปรตาม

คุณสมบัติที่สำคัญของการประมาณค่า OLS สำหรับแบบจำลอง มีค่าคงที่- เส้นของการถดถอยที่สร้างขึ้นผ่านจุดศูนย์ถ่วงของข้อมูลตัวอย่างนั่นคือความเท่าเทียมกันเป็นที่พอใจ:

โดยเฉพาะอย่างยิ่ง ในกรณีที่รุนแรง เมื่อตัวถดถอยตัวเดียวเป็นค่าคงที่ เราจะพบว่าการประมาณค่า OLS ของพารามิเตอร์ตัวเดียว (ค่าคงที่นั้นเอง) เท่ากับค่าเฉลี่ยของตัวแปรที่อธิบาย นั่นคือค่าเฉลี่ยเลขคณิตซึ่งเป็นที่รู้จักในเรื่องคุณสมบัติที่ดีจากกฎของจำนวนจำนวนมากก็เป็นค่าประมาณกำลังสองน้อยที่สุดเช่นกันซึ่งเป็นไปตามเกณฑ์ของผลรวมขั้นต่ำของการเบี่ยงเบนกำลังสองจากนั้น

ตัวอย่าง: การถดถอยที่ง่ายที่สุด (ตามคู่)

ในกรณีของการถดถอยเชิงเส้นแบบคู่ สูตรการคำนวณจะง่ายขึ้น (คุณสามารถทำได้โดยไม่ต้องใช้พีชคณิตเมทริกซ์):

คุณสมบัติของตัวประมาณค่า OLS

ก่อนอื่น เราทราบว่าสำหรับโมเดลเชิงเส้น การประมาณค่า OLS เป็นการประมาณเชิงเส้น ดังต่อไปนี้จากสูตรข้างต้น สำหรับการประมาณค่า OLS ที่เป็นกลาง มีความจำเป็นและเพียงพอในการตอบสนองเงื่อนไขที่สำคัญที่สุดของการวิเคราะห์การถดถอย: ความคาดหวังทางคณิตศาสตร์ของข้อผิดพลาดแบบสุ่มตามเงื่อนไขของปัจจัย จะต้องเท่ากับศูนย์ โดยเฉพาะอย่างยิ่งเงื่อนไขนี้จะเป็นที่พอใจหาก

1. ความคาดหวังทางคณิตศาสตร์ของข้อผิดพลาดแบบสุ่มคือศูนย์ และ
2. ปัจจัยและข้อผิดพลาดแบบสุ่มเป็นตัวแปรสุ่มอิสระ

เงื่อนไขที่สอง - เงื่อนไขของปัจจัยภายนอก - เป็นเงื่อนไขพื้นฐาน หากไม่ตรงตามคุณสมบัตินี้ เราสามารถสรุปได้ว่าการประมาณการเกือบทั้งหมดจะไม่เป็นที่น่าพอใจอย่างยิ่ง โดยจะไม่สอดคล้องกันด้วยซ้ำ (นั่นคือ แม้แต่ข้อมูลจำนวนมากก็ไม่อนุญาตให้เรารับการประมาณการคุณภาพสูงในกรณีนี้ ). ในกรณีคลาสสิก มีการตั้งสมมติฐานที่หนักแน่นกว่าเกี่ยวกับการกำหนดปัจจัยต่างๆ ซึ่งตรงข้ามกับข้อผิดพลาดแบบสุ่ม ซึ่งหมายความว่าเป็นไปตามเงื่อนไขภายนอกโดยอัตโนมัติ ในกรณีทั่วไป เพื่อความสอดคล้องของการประมาณการ ก็เพียงพอแล้วที่จะเป็นไปตามเงื่อนไขภายนอกร่วมกับการลู่เข้าของเมทริกซ์กับเมทริกซ์ที่ไม่ใช่เอกพจน์เมื่อขนาดตัวอย่างเพิ่มขึ้นจนถึงค่าอนันต์

เพื่อให้ นอกจากความสม่ำเสมอและความเป็นกลางแล้ว การประมาณค่ากำลังสองน้อยที่สุด (ปกติ) ให้มีประสิทธิภาพด้วย (ค่าที่ดีที่สุดในกลุ่มการประมาณค่าที่ไม่เอนเอียงเชิงเส้น) จะต้องมีคุณสมบัติเพิ่มเติมของข้อผิดพลาดแบบสุ่ม:

สมมติฐานเหล่านี้สามารถกำหนดสูตรสำหรับเมทริกซ์ความแปรปรวนร่วมของเวกเตอร์ข้อผิดพลาดแบบสุ่มได้

เรียกว่าแบบจำลองเชิงเส้นที่ตรงตามเงื่อนไขเหล่านี้ คลาสสิค. การประมาณค่า OLS สำหรับการถดถอยเชิงเส้นแบบคลาสสิกนั้นมีความเป็นกลาง สม่ำเสมอ และมีประสิทธิภาพมากที่สุดในกลุ่มของการประมาณค่าที่ไม่เอนเอียงเชิงเส้นทั้งหมด (ในวรรณคดีอังกฤษ บางครั้งจะใช้ตัวย่อ สีฟ้า (ตัวประมาณค่าเชิงเส้นแบบไม่มีฐานที่ดีที่สุด) - การประมาณการที่เป็นกลางเชิงเส้นที่ดีที่สุด ในวรรณคดีรัสเซียมักอ้างถึงทฤษฎีบทเกาส์-มาร์คอฟ) ตามที่แสดงได้ง่าย เมทริกซ์ความแปรปรวนร่วมของเวกเตอร์ของการประมาณค่าสัมประสิทธิ์จะเท่ากับ:

OLS ทั่วไป

วิธีกำลังสองน้อยที่สุดทำให้สามารถสรุปได้กว้างๆ แทนที่จะลดผลรวมของกำลังสองของส่วนที่เหลือให้เหลือน้อยที่สุด เราสามารถลดรูปแบบกำลังสองที่แน่นอนของเวกเตอร์ของส่วนที่เหลือให้เหลือน้อยที่สุด โดยที่เมทริกซ์น้ำหนักแน่นอนเชิงบวกแบบสมมาตรบางตัว กำลังสองน้อยที่สุดแบบธรรมดาเป็นกรณีพิเศษของแนวทางนี้ โดยที่เมทริกซ์น้ำหนักจะเป็นสัดส่วนกับเมทริกซ์เอกลักษณ์ ดังที่ทราบจากทฤษฎีเมทริกซ์สมมาตร (หรือตัวดำเนินการ) สำหรับเมทริกซ์ดังกล่าวจะมีการสลายตัว ดังนั้น ฟังก์ชันที่ระบุจึงสามารถแสดงได้ดังต่อไปนี้ กล่าวคือ ฟังก์ชันนี้สามารถแสดงเป็นผลรวมของกำลังสองของ "เศษที่เหลือ" ที่ถูกแปลงบางส่วน ดังนั้นเราจึงสามารถแยกแยะคลาสของวิธีกำลังสองน้อยที่สุดได้ - วิธี LS (กำลังสองน้อยที่สุด)

ได้รับการพิสูจน์แล้ว (ทฤษฎีบทของ Aitken) ว่าสำหรับแบบจำลองการถดถอยเชิงเส้นทั่วไป (ซึ่งไม่มีข้อจำกัดใดๆ กำหนดไว้กับเมทริกซ์ความแปรปรวนร่วมของข้อผิดพลาดแบบสุ่ม) สิ่งที่เรียกว่าการประมาณการที่มีประสิทธิผลมากที่สุด (ในกลุ่มของการประมาณค่าที่ไม่เอนเอียงเชิงเส้น) กำลังสองน้อยที่สุดทั่วไป (GLS - กำลังสองน้อยที่สุดทั่วไป)- วิธี LS ที่มีเมทริกซ์น้ำหนักเท่ากับเมทริกซ์ความแปรปรวนร่วมผกผันของข้อผิดพลาดแบบสุ่ม:

จะเห็นได้ว่าสูตรสำหรับการประมาณค่าพารามิเตอร์ของแบบจำลองเชิงเส้นของ GLS มีรูปแบบ

เมทริกซ์ความแปรปรวนร่วมของการประมาณค่าเหล่านี้จะเท่ากับตามนั้น

ในความเป็นจริง สาระสำคัญของ OLS อยู่ที่การแปลง (P) บางอย่าง (เชิงเส้น) ของข้อมูลต้นฉบับและการประยุกต์ใช้ OLS ธรรมดากับข้อมูลที่แปลงแล้ว วัตถุประสงค์ของการแปลงนี้คือ สำหรับข้อมูลที่แปลงแล้ว ข้อผิดพลาดแบบสุ่มเป็นไปตามสมมติฐานดั้งเดิมอยู่แล้ว

OLS แบบถ่วงน้ำหนัก

ในกรณีของเมทริกซ์น้ำหนักแนวทแยง (และด้วยเหตุนี้จึงเป็นเมทริกซ์ความแปรปรวนร่วมของข้อผิดพลาดแบบสุ่ม) เราจะเรียกว่ากำลังสองน้อยที่สุดแบบถ่วงน้ำหนัก (WLS) ในกรณีนี้ ผลรวมถ่วงน้ำหนักของกำลังสองของส่วนที่เหลือของแบบจำลองจะลดลง กล่าวคือ การสังเกตแต่ละครั้งจะได้รับ "น้ำหนัก" ซึ่งเป็นสัดส่วนผกผันกับความแปรปรวนของข้อผิดพลาดแบบสุ่มในการสังเกตนี้: ข้อมูลจะถูกแปลงโดยการถ่วงน้ำหนักการสังเกต (หารด้วยจำนวนที่เป็นสัดส่วนกับค่าเบี่ยงเบนมาตรฐานโดยประมาณของข้อผิดพลาดแบบสุ่ม) และ OLS ธรรมดาจะถูกนำไปใช้กับข้อมูลที่ถ่วงน้ำหนัก

กรณีพิเศษบางประการของการใช้ MNC ในทางปฏิบัติ

การประมาณของการพึ่งพาเชิงเส้น

ให้เราพิจารณากรณีที่เป็นผลมาจากการศึกษาการพึ่งพาปริมาณสเกลาร์บางอย่างกับปริมาณสเกลาร์ที่แน่นอน (เช่นอาจเป็นเช่นการพึ่งพาแรงดันไฟฟ้ากับความแรงของกระแส: , โดยที่ค่าคงที่, ความต้านทานของ ตัวนำ) ทำการวัดปริมาณเหล่านี้ซึ่งเป็นผลมาจากค่าและค่าที่สอดคล้องกัน ข้อมูลการวัดจะต้องบันทึกไว้ในตาราง

โต๊ะ. ผลการวัด

หมายเลขการวัด
1
2
3
4
5
6

คำถามคือ: สามารถเลือกค่าสัมประสิทธิ์ใดเพื่ออธิบายการพึ่งพาได้ดีที่สุด? ตามวิธีกำลังสองน้อยที่สุดค่านี้ควรเป็นผลรวมของการเบี่ยงเบนกำลังสองของค่าจากค่า

น้อยที่สุด

ผลรวมของการเบี่ยงเบนกำลังสองจะมีค่าสุดขั้วหนึ่งค่า - ค่าต่ำสุดซึ่งทำให้เราสามารถใช้สูตรนี้ได้ ให้เราค้นหาค่าของสัมประสิทธิ์จากสูตรนี้ เมื่อต้องการทำเช่นนี้ เราแปลงด้านซ้ายดังนี้:

สูตรสุดท้ายช่วยให้เราสามารถหาค่าสัมประสิทธิ์ซึ่งเป็นค่าที่จำเป็นในโจทย์ได้

เรื่องราว

จนกระทั่งต้นศตวรรษที่ 19 นักวิทยาศาสตร์ไม่มีกฎเกณฑ์ที่แน่นอนในการแก้ระบบสมการซึ่งจำนวนไม่ทราบค่าน้อยกว่าจำนวนสมการ ก่อนหน้านั้นมีการใช้เทคนิคส่วนตัวซึ่งขึ้นอยู่กับประเภทของสมการและความเฉลียวฉลาดของเครื่องคิดเลข ดังนั้นเครื่องคิดเลขที่แตกต่างกันซึ่งใช้ข้อมูลเชิงสังเกตเดียวกันจึงได้ข้อสรุปที่ต่างกัน Gauss (1795) เป็นคนแรกที่ใช้วิธีการนี้ และ Legendre (1805) ค้นพบและตีพิมพ์โดยอิสระภายใต้ชื่อสมัยใหม่ (ฝรั่งเศส. Méthode des moindres quarrés ) . ลาปลาซเชื่อมโยงวิธีการนี้เข้ากับทฤษฎีความน่าจะเป็น และนักคณิตศาสตร์ชาวอเมริกัน แอดเรน (1808) ได้พิจารณาการประยุกต์ใช้ทฤษฎีความน่าจะเป็นของมัน วิธีการนี้แพร่หลายและปรับปรุงโดยการวิจัยเพิ่มเติมโดย Encke, Bessel, Hansen และคนอื่นๆ

การใช้ทางเลือกอื่นของ OLS

แนวคิดของวิธีกำลังสองน้อยที่สุดยังสามารถใช้ในกรณีอื่นที่ไม่เกี่ยวข้องโดยตรงกับการวิเคราะห์การถดถอย ความจริงก็คือผลรวมของกำลังสองเป็นหนึ่งในการวัดความใกล้ชิดที่ใช้กันทั่วไปสำหรับเวกเตอร์ (เมตริกแบบยูคลิดในปริภูมิมิติจำกัด)

แอปพลิเคชั่นหนึ่งคือ “คำตอบ” ของระบบสมการเชิงเส้นซึ่งจำนวนสมการมากกว่าจำนวนตัวแปร

โดยที่เมทริกซ์ไม่ใช่สี่เหลี่ยมจัตุรัส แต่เป็นขนาดสี่เหลี่ยมจัตุรัส .

ในกรณีทั่วไป ระบบสมการดังกล่าวไม่มีวิธีแก้ปัญหา (หากอันดับนั้นมากกว่าจำนวนตัวแปรจริงๆ) ดังนั้น ระบบนี้สามารถ "แก้ไข" ได้เฉพาะในแง่ของการเลือกเวกเตอร์ดังกล่าวเพื่อลด "ระยะห่าง" ระหว่างเวกเตอร์และ ในการทำเช่นนี้ คุณสามารถใช้เกณฑ์ในการลดผลรวมของกำลังสองของความแตกต่างระหว่างด้านซ้ายและด้านขวาของสมการของระบบได้ กล่าวคือ เป็นเรื่องง่ายที่จะแสดงให้เห็นว่าการแก้ปัญหาการย่อเล็กสุดนี้นำไปสู่การแก้ระบบสมการต่อไปนี้