Линейная аппроксимация. Аппроксимация опытных данных. Метод наименьших квадратов. Аппроксимация параболической функции

Пример.

Экспериментальные данные о значениях переменных х и у приведены в таблице.

В результате их выравнивания получена функция

Используя метод наименьших квадратов , аппроксимировать эти данные линейной зависимостью y=ax+b (найти параметры а и b ). Выяснить, какая из двух линий лучше (в смысле метода наименьших квадратов) выравнивает экспериментальные данные. Сделать чертеж.

Суть метода наименьших квадратов (МНК).

Задача заключается в нахождении коэффициентов линейной зависимости, при которых функция двух переменных а и b принимает наименьшее значение. То есть, при данных а и b сумма квадратов отклонений экспериментальных данных от найденной прямой будет наименьшей. В этом вся суть метода наименьших квадратов.

Таким образом, решение примера сводится к нахождению экстремума функции двух переменных.

Вывод формул для нахождения коэффициентов.

Составляется и решается система из двух уравнений с двумя неизвестными. Находим частные производные функции по переменным а и b , приравниваем эти производные к нулю.

Решаем полученную систему уравнений любым методом (например методом подстановки или ) и получаем формулы для нахождения коэффициентов по методу наименьших квадратов (МНК).

При данных а и b функция принимает наименьшее значение. Доказательство этого факта приведено .

Вот и весь метод наименьших квадратов. Формула для нахождения параметра a содержит суммы , , , и параметр n - количество экспериментальных данных. Значения этих сумм рекомендуем вычислять отдельно. Коэффициент b находится после вычисления a .

Пришло время вспомнить про исходый пример.

Решение.

В нашем примере n=5 . Заполняем таблицу для удобства вычисления сумм, которые входят в формулы искомых коэффициентов.

Значения в четвертой строке таблицы получены умножением значений 2-ой строки на значения 3-ей строки для каждого номера i .

Значения в пятой строке таблицы получены возведением в квадрат значений 2-ой строки для каждого номера i .

Значения последнего столбца таблицы – это суммы значений по строкам.

Используем формулы метода наименьших квадратов для нахождения коэффициентов а и b . Подставляем в них соответствующие значения из последнего столбца таблицы:

Следовательно, y = 0.165x+2.184 - искомая аппроксимирующая прямая.

Осталось выяснить какая из линий y = 0.165x+2.184 или лучше аппроксимирует исходные данные, то есть произвести оценку методом наименьших квадратов.

Оценка погрешности метода наименьших квадратов.

Для этого требуется вычислить суммы квадратов отклонений исходных данных от этих линий и , меньшее значение соответствует линии, которая лучше в смысле метода наименьших квадратов аппроксимирует исходные данные.

Так как , то прямая y = 0.165x+2.184 лучше приближает исходные данные.

Графическая иллюстрация метода наименьших квадратов (мнк).

На графиках все прекрасно видно. Красная линия – это найденная прямая y = 0.165x+2.184 , синяя линия – это , розовые точки – это исходные данные.

Для чего это нужно, к чему все эти аппроксимации?

Я лично использую для решения задач сглаживания данных, задач интерполяции и экстраполяции (в исходном примере могли бы попросить найти занчение наблюдаемой величины y при x=3 или при x=6 по методу МНК). Но подробнее поговорим об этом позже в другом разделе сайта.

Доказательство.

Чтобы при найденных а и b функция принимала наименьшее значение, необходимо чтобы в этой точке матрица квадратичной формы дифференциала второго порядка для функции была положительно определенной. Покажем это.

Аппроксимация опытных данных – это метод, основанный на замене экспериментально полученных данных аналитической функцией наиболее близко проходящей или совпадающей в узловых точках с исходными значениями (данными полученными в ходе опыта или эксперимента). В настоящее время существует два способа определения аналитической функции:

С помощью построения интерполяционного многочлена n-степени, который проходит непосредственно через все точки заданного массива данных. В данном случае аппроксимирующая функция представляется в виде: интерполяционного многочлена в форме Лагранжа или интерполяционного многочлена в форме Ньютона.

С помощью построения аппроксимирующего многочлена n-степени, который проходит в ближайшей близости от точек из заданного массива данных. Таким образом, аппроксимирующая функция сглаживает все случайные помехи (или погрешности), которые могут возникать при выполнении эксперимента: измеряемые значения в ходе опыта зависят от случайных факторов, которые колеблются по своим собственным случайным законам (погрешности измерений или приборов, неточность или ошибки опыта). В данном случае аппроксимирующая функция определяется по методу наименьших квадратов.

Метод наименьших квадратов (в англоязычной литературе Ordinary Least Squares, OLS) - математический метод, основанный на определении аппроксимирующей функции, которая строится в ближайшей близости от точек из заданного массива экспериментальных данных. Близость исходной и аппроксимирующей функции F(x) определяется числовой мерой, а именно: сумма квадратов отклонений экспериментальных данных от аппроксимирующей кривой F(x) должна быть наименьшей.

Аппроксимирующая кривая, построенная по методу наименьших квадратов

Метод наименьших квадратов используется:

Для решения переопределенных систем уравнений, когда количество уравнений превышает количество неизвестных;

Для поиска решения в случае обычных (не переопределенных) нелинейных систем уравнений;

Для аппроксимации точечных значений некоторой аппроксимирующей функцией.

Аппроксимирующая функция по методу наименьших квадратов определяется из условия минимума суммы квадратов отклонений расчетной аппроксимирующей функции от заданного массива экспериментальных данных. Данный критерий метода наименьших квадратов записывается в виде следующего выражения:

Значения расчетной аппроксимирующей функции в узловых точках ,

Заданный массив экспериментальных данных в узловых точках .

Квадратичный критерий обладает рядом "хороших" свойств, таких, как дифференцируемость, обеспечение единственного решения задачи аппроксимации при полиномиальных аппроксимирующих функциях.

В зависимости от условий задачи аппроксимирующая функция представляет собой многочлен степени m

Степень аппроксимирующей функции не зависит от числа узловых точек, но ее размерность должна быть всегда меньше размерности (количества точек) заданного массива экспериментальных данных.

∙ В случае если степень аппроксимирующей функции m=1, то мы аппроксимируем табличную функцию прямой линией (линейная регрессия).

∙ В случае если степень аппроксимирующей функции m=2, то мы аппроксимируем табличную функцию квадратичной параболой (квадратичная аппроксимация).

∙ В случае если степень аппроксимирующей функции m=3, то мы аппроксимируем табличную функцию кубической параболой (кубическая аппроксимация).

В общем случае, когда требуется построить аппроксимирующий многочлен степени m для заданных табличных значений, условие минимума суммы квадратов отклонений по всем узловым точкам переписывается в следующем виде:

- неизвестные коэффициенты аппроксимирующего многочлена степени m;

Количество заданных табличных значений.

Необходимым условием существования минимума функции является равенству нулю ее частных производных по неизвестным переменным . В результате получим следующую систему уравнений:

Преобразуем полученную линейную систему уравнений: раскроем скобки и перенесем свободные слагаемые в правую часть выражения. В результате полученная система линейных алгебраических выражений будет записываться в следующем виде:

Данная система линейных алгебраических выражений может быть переписана в матричном виде:

В результате была получена система линейных уравнений размерностью m+1, которая состоит из m+1 неизвестных. Данная система может быть решена с помощью любого метода решения линейных алгебраических уравнений (например, методом Гаусса). В результате решения будут найдены неизвестные параметры аппроксимирующей функции, обеспечивающие минимальную сумму квадратов отклонений аппроксимирующей функции от исходных данных, т.е. наилучшее возможное квадратичное приближение. Следует помнить, что при изменении даже одного значения исходных данных все коэффициенты изменят свои значения, так как они полностью определяются исходными данными.

Аппроксимация исходных данных линейной зависимостью

(линейная регрессия)

В качестве примера, рассмотрим методику определения аппроксимирующей функции, которая задана в виде линейной зависимости. В соответствии с методом наименьших квадратов условие минимума суммы квадратов отклонений записывается в следующем виде:

Координаты узловых точек таблицы;

Неизвестные коэффициенты аппроксимирующей функции, которая задана в виде линейной зависимости.

Необходимым условием существования минимума функции является равенству нулю ее частных производных по неизвестным переменным. В результате получаем следующую систему уравнений:

Преобразуем полученную линейную систему уравнений.

Решаем полученную систему линейных уравнений. Коэффициенты аппроксимирующей функции в аналитическом виде определяются следующим образом (метод Крамера):

Данные коэффициенты обеспечивают построение линейной аппроксимирующей функции в соответствии с критерием минимизации суммы квадратов аппроксимирующей функции от заданных табличных значений (экспериментальные данные).

Алгоритм реализации метода наименьших квадратов

1. Начальные данные:

Задан массив экспериментальных данных с количеством измерений N

Задана степень аппроксимирующего многочлена (m)

2. Алгоритм вычисления:

2.1. Определяются коэффициенты для построения системы уравнений размерностью

Коэффициенты системы уравнений (левая часть уравнения)

- индекс номера столбца квадратной матрицы системы уравнений

Свободные члены системы линейных уравнений (правая часть уравнения)

- индекс номера строки квадратной матрицы системы уравнений

2.2. Формирование системы линейных уравнений размерностью .

2.3. Решение системы линейных уравнений с целью определения неизвестных коэффициентов аппроксимирующего многочлена степени m.

2.4.Определение суммы квадратов отклонений аппроксимирующего многочлена от исходных значений по всем узловым точкам

Найденное значение суммы квадратов отклонений является минимально-возможным.

Аппроксимация с помощью других функций

Следует отметить, что при аппроксимации исходных данных в соответствии с методом наименьших квадратов в качестве аппроксимирующей функции иногда используют логарифмическую функцию, экспоненциальную функцию и степенную функцию.

Логарифмическая аппроксимация

Рассмотрим случай, когда аппроксимирующая функция задана логарифмической функцией вида:

Рассмотрим гильбертово пространство действительных функций, интегрируемых с квадратом с весом на . Норма в нем равна где скалярное произведение определено следующим образом:

Физический смысл весовой функции будет пояснен в п. 4. Выберем в качестве аппроксимирующей функции линейную комбинацию (37). Подставляя ее в условие наилучшего приближения (36), получим

Приравнивая нулю производные по коэффициентам, получим систему линейных уравнений

Ее определитель есть определитель Грама функций поскольку функции линейно-независимы, он отличен от нуля. Следовательно, наилучшее среднеквадратичное приближение существует и единственно. Для его вычисления необходимо решить систему линейных уравнений (38).

Линейно-независимую систему функций можно ортогонализировать.

Пусть уже образуют ортонормированную систему, т. е. ; тогда формулы (38) резко упрощаются и становятся удобными для вычислений

Это коэффициенты Фурье, так что наилучшее приближение есть отрезок обобщенного ряда Фурье.

Если функции образуют полную ортонормированную систему, то в силу равенства Парсеваля

Значит, при норма погрешности неограниченно убывает, т. е. наилучшее приближение среднеквадратично сходится к у и возможна аппроксимация с любой точностью.

Отметим, что если не ортогональны, то при определитель Грама обычно быстро стремится к нулю, система (38) становится плохо обусловленной, т. е. ее решение связано с большой потерей точности (см. главу V), и больше 5 - 6 членов суммы (37) брать нецелесообразно. Численная ортогонализация базиса при этом тоже приводит к большой потере точности. Поэтому если нужно большое число членов, то надо или проводить ортогонализацию точно (аналитически), или пользоваться готовыми системами ортогональных функций.

При интерполяции мы обычно полагали Для среднеквадратичной аппроксимации удобнее в качестве брать многочлены, ортогональные с заданным весом. Наиболее употребительны из них многочлены Якоби (частным случаем которых являются многочлены Лежандра и Чебышева), Лагерра и Эрмита. Для аппроксимации периодических функций используют тригонометрический ряд; он соответствует Сводка формул для ортогональных полиномов приведена в Приложении.

Все перечисленные выше системы функций полные, так что наилучшие приближения по ним среднеквадратично сходятся при если интегрируема с квадратом с заданным весом. При более сильных ограничениях имеет место сходимость во всех точках и даже равномерная сходимость. Приведем без доказательства некоторые результаты.

а) Ряд по многочленам Якоби сходится к непрерывной функции у равномерно на если существует непрерывная при некотором и если . В частности, для многочленов Чебышева первого рода достаточно а для многочленов Чебышева второго рода Для многочленов Лежандра доказан более сильный результат: ряд сходится равномерно, если существует ограниченная у

б) Если функция кусочно-непрерывная и кусочно-гладкая на и существует

то ряд по многочленам Лагерра сходится к функции в точках ее непрерывности и к полусумме односторонних пределов в точках разрыва. Эта сходимость, вообще говоря, не равномерная.

в) Если функция у кусочно-непрерывная и кусочно-гладкая на и существует

то ряд по многочленам Эрмита сходится так же, как в предыдущем абзаце.

г) Если у периодическая и непрерывная, причем ее модуль непрерывности удовлетворяет условию то ее тригонометрический ряд Фурье равномерно сходится к ней на всем периоде (признак Липшица); в частности, это условие выполняется для функции с ограниченной производной. Если функция имеет ограниченную производную а все младшие производные непрерывны, то для погрешности тригонометрического ряда Фурье и величин отдельных коэффициентов справедливы оценки

где А - константа. Видно, что при больших ряд сходится быстро. Но если кусочно-непрерывна, то сколько бы ни было у нее кусочно-непрерывных и ограниченных производных, ее коэффициенты Фурье убывают не быстрей и ряд сходится медленно (или даже расходится).

Замечание 1. Сходимость не во всех рассмотренных случаях была равномерной. Более того, не существует такого веса чтобы любая непрерывная функция разлагалась в равномерно сходящийся ряд по полиномам, ортогональным с этим весом. Буа-Реймондом и Л. Фейером были построены примеры периодических непрерывных функций, у которых тригонометрический ряд Фурье в отдельных точках расходится.

Замечание 2. Сходимость среднеквадратичного приближения тем лучше, чем меньше у функции особенностей - разрывов ее самой или ее производных. Если можно выделить основные особенности в виде несложной функции и аппроксимировать разность у точность аппроксимации существенно улучшается.

Аппроксимация , или приближение - научный метод, состоящий в замене одних объектов другими, в том или ином смысле близкими к исходным, но более простыми. В задачах, рассматриваемых в данном разделе и в следующем, используются исходные данные, полученные в результате табуляции заданной функции. Следует помнить, что в реальных задачах исходными данными являются результаты наблюдений (проведение опытов, научных экспериментов, наблюдение реальных событий и т.п.), которые подвержены ошибкам измерения и другим случайным факторам. Задача исследователя - подобрать по исходным точкам (которые на первый взгляд расположены хаотично) функциональную зависимость (если это вообще возможно), которая наилучшим образом описывает распределение исходных данных и в некоторых случаях попытаться сделать прогноз дальнейшего развития (например исследование временно́го ряда изменения котировок акций).

Задание . Построить таблицу значений функции F(x)=ax²+bx+c для 11 значений аргумента x в диапазоне –1 ≤ x ≤ +1 . Построить график этой функции, затем выполнить аппроксимацию линиями тренда двух типов. С помощью линий тренда построить прогноз на два периода вперёд.

Как и в предыдущих задачах вводим исходные данные: начальное значение аргумента функции Xn , конечное значение аргумента функции Xk , количество точек разбиения функции (количество строк таблицы) N , формулу для шага аргумента функции dX , коэффициенты a , b , c , затем создаем основную таблицу и строим диаграмму (все эти действия были подробно описаны в разделе ) :

Линии тренда на диаграмме

Линии тренда позволяют графически отображать тенденции изменения данных и прогнозировать их дальнейшие изменения . Подобный анализ называется также регрессионным анализом. Используя регрессионный анализ, можно продлить линию тренда в диаграмме за пределы реальных данных для предсказания будущих значений.

Линии тренда могут быть построены на всех двухмерных диаграммах (линию тренда нельзя добавить на объемных, лепестковых, круговых, кольцевых и пузырьковых диаграммах).

Существует шесть различных видов линий тренда:

• Линейная
• Полиномиальная
• Логарифмическая
• Экспоненциальная
• Степенная

Линии тренда, добавленные к графику функции, на сами данные и исходную диаграмму никак не влияют.

Формулы для вычисления линий тренда

Линейная . Используется для линейной аппроксимации данных по методу наименьших квадратов в соответствии с уравнением:

где: m - угол наклона, b - координата пересечения оси абсцисс.

Полиномиальная . Используется для полиномиальной или криволинейной аппроксимации данных по методу наименьших квадратов в соответствии с уравнением:

где: b , c 1 , c 2 , … c 6 - константы.

Можно задать степень полинома от 2 до 6.

Логарифмическая . Используется для логарифмической аппроксимации данных по методу наименьших квадратов в соответствии с уравнением:

где: c и b - константы, ln - функция натурального логарифма.

Экспоненциальная . Используется для экспоненциальной аппроксимации данных по методу наименьших квадратов в соответствии с уравнением:

где: c и b - константы, e - основание натурального логарифма.

Степенная . Используется для степенной аппроксимации данных по методу наименьших квадратов в соответствии с уравнением:

где: c и b - константы.

Примечание . Экспоненциальная и степенная виды аппроксимации недоступны, если значения функции F(x) содержат отрицательные или нулевые значения. Кроме того, логарифмическая и степенная виды аппроксимации недоступны, если значения аргумента функции x содержат отрицательные или нулевые значения. Поскольку в заданиях к лабораторным работам используется отрицательное значение нижней границы аргумента Xn (x0 ), не выбирайте логарифмическую и степенную виды аппроксимации!

Скользящее среднее - это среднее значение за определенный период:

На диаграмме линия, построенная по точкам скользящего среднего, позволяет построить сглаженную кривую, более ясно показывающую закономерность в развитии данных.

Добавление линии тренда к рядам данных

Выделяем диаграмму (щелкаем в любом пустом месте диаграммы), после чего на ленте меню появятся три дополнительные вкладки: Конструктор , Макет и Формат . На вкладке Макет в группе Анализ щелкаем по кнопке .

Пусть зависимоcть y от x задана в дискретной форме: { x 1 , y 1 ; x 2 , y 2 ; … x n , y n }. По этим данным можно построить такую аппроксимирующую функцию, график которой будет располагаться между узлами интерполяции близко к ним, но не обязательно точно проходить через все узлы. Такая зависимость носит сглаживающий характер и строится, например, для того, чтобы описать экспериментальные данные с помощью функции заданного вида. Необходимо определить лишь параметры этой функции. Для решения такой задачи используется метод наименьших квадратов - МНК . Его суть заключается в минимизации полной квадратичной невязки между построенной функцией и значениями y i в узловых точках:

где F (x ) – искомая аппроксимирующая функция.

Часто в качестве приближения, строящегося по МНК, берутся полиномы степени l ,
, гдеl < n -1 . В простейшем случае строится полином первой степени, т.е. линейная функция: F (x ) = ax + b . Коэффициенты a и b находятся с помощью метода наименьших квадратов по следующим формулам:

,
.

Для нахождения коэффициентов, можно использовать стандартные функции системы MathCAD и Excel.

В MathCAD имеется функция line(vx, vy) , которая возвращает линейные коэффициенты по значениям векторных аргументов vx и v y .

В Excel имеется функция ЛИНЕЙН, у которой также имеются два аргумента, состоящих из диапазонов ячеек. На первом месте диапазон ячеек соответствующий ординате. После ввода этой функции (например, «=ЛИНЕЙН(F10:F12;E1:E3)») выводится только один линейный коэффициент. Для вывода обоих коэффициентов необходимо выделить две ячейки (включая первую слева) потом нажать «F2», а затем комбинацию клавиш «crtl», «shift», «enter».

Лабораторная работа №8

Используя исходные данные из предыдущей работы, построить линейную функцию по методу наименьших квадратов. Вычислить полную квадратичную невязку полученной функции. Вычислить значение функции при заданном значении аргумента.

Физическая задача №3

Полагаем, что измерение интенсивности радиоактивного распада было выполнено для (К+1) моментов времени с заданным интервалом времени
. Эти измерения дали таблицу, состоящую из К+1 (К=3-5) значений количества распадов
для моментов времени
.

Используя метод наименьших квадратов, определить константу распада, период полураспада и значение суммы квадратов невязок.

Знание закона радиоактивного распада

подсказывает вычислить значения
и использовать метод наименьших квадратов для величин
, отыскивая параметры линейной зависимости. Тангенс угла наклона линейной зависимости определяет константу радиоактивного распада.

В отчете должен быть представлен график прямой
вместе с экспериментальными точками. Заметим, что закон радиоактивного распада является вероятностным и выполняется сравнительно точно для больших значений. Периоды полураспада радиоактивных изотопов изменяются в очень широких пределах. Например, период полураспада изотопа азота равен 10 минутам, а период полураспада изотопа хлора 300 000 лет . В заданиях период полураспада равен часам (и ответ следует выдавать в часах).

Из определения периода полураспада
следует его связь с постоянной распада:

. (2)

Параметры задачи преподаватель выдает студенту по аналитическим формулам

, .

В этих формулах - номер студента в группе, а- номер измерения (, время в этой формуле измеряется в часах. Между номером студента и периодом полураспада имеется линейная зависимость.

В отчете показать вывод уравнений, позволяющих решить задачу, график с прямой в логарифмическом масштабе для
и экспериментальными точками, выписать значения постоянной распада и времени полураспада в часах.