Na czym polega metoda mniejszych kwadratów? Jaka jest podstawowa, konieczna wiedza, by móc niej skorzystać? Jak skorzystać z niej przy wyznaczaniu współczynnika na wykresie w fizyce?
Metoda najmniejszych kwadratów ściśle wiąże się z zagadnieniem aproksymacji.
Załóżmy, że mamy zbiór danych eksperymentalnych
(można to łatwo uogólnić na wiele wymiarów, stąd w moim zapisie pojawia się wektor współrzędnych r_i oraz wartość w_i)
Jeżeli teraz chcemy opisać eksperymentalną zależność pewną funkcją
której znamy postać analityczną (np. prosta, trójmian kwadratowy itd), to musimy to zrobić tak, aby ta nasza funkcja najlepiej przybliżała zależność eksperymentalną, czyli, aby wykres f(r) przebiegał możliwie najbliżej wszystkich punktów eksperymentalnych.
Jedną z metod, która pozwala na taką sztukę jest minimalizacja kwadratu odległości:
gdzie sumowanie odbywa się po wszystkich punktach eksperymentalnych. Matematycy zakończyliby w tym miejscu, ale fizyka chce opisywać prawdziwa przypadki, a nie tylko taki wyimaginowane, więc bierze się pod uwagę niepewność pomiarową (punkty mogą mieć różną wagę - dokładnie zmierzony punkt, trzeba dokładnie odwzorować, a taki z dużą niepewnością, można potraktować mniej poważnie)
powyższe wyrażenie odpowiada właśnie aproksymacji opartej o metodę najmniejszych kwadratów.
Nie powiedziałem jednak jasno, gdzie tu jest miejsce na swobodę. Znamy postać analityczną funkcji f, ale w ogólności zależy ona od parametrów. Przykładowo, wiem, że jest to wielomian stopnia n:
ale nie znam n+1 współczynników i właśnie w oparciu o metodą najmniejszych kwadratów szukam tych n+1 współczynników takich, że funkcja f najlepiej opisuje zmienność zaobserwowaną w eksperymencie.
W tym celu powinniśmy poszukać minimum wyrażenie chi-kwadrat
w moim przypadku
w ten sposób możemy napisać n+1 równań (dla każdego współczynnika a_j), które następnie należy rozwiązać - problem jest dobrze postawiony i ma jednoznaczne rozwiązanie.
Takie równania dla prostej jest powszechnie dostępne w każdym poradniku metod numerycznych.
Słowa komentarza wymaga jednak małe oszustwo, którego się tu dopuściłem. Aby użycie metody najmn. kwadratów było uzasadnione, musimy mieć przynajmniej 3 punkty pomiarowe na każdy współczynnik, czyli N>(n+1)/3. Kolejna sprawa, metodą najmniejszych kwadratów można stosować dla dowolnej funkcji f, ale jeśli występujące tam współczynniki nie pojawiają się liniowo (i nie da się zastosować takiego przekształcenia, aby mieć kombinację liniową współczynników), to jest duża szansa, że nic nie uda się zrobić. Na przykład współczynnika B w funkcji A*sin(B*x) nie uda nam się tak wyznaczyć i trzeba korzystać z numerycznej minimalizacji wyrażenia.
Metoda najmniejszych kwadratów ściśle wiąże się z zagadnieniem aproksymacji.
Załóżmy, że mamy zbiór danych eksperymentalnych
(można to łatwo uogólnić na wiele wymiarów, stąd w moim zapisie pojawia się wektor współrzędnych r_i oraz wartość w_i)
Jeżeli teraz chcemy opisać eksperymentalną zależność pewną funkcją
której znamy postać analityczną (np. prosta, trójmian kwadratowy itd), to musimy to zrobić tak, aby ta nasza funkcja najlepiej przybliżała zależność eksperymentalną, czyli, aby wykres f(r) przebiegał możliwie najbliżej wszystkich punktów eksperymentalnych.
Jedną z metod, która pozwala na taką sztukę jest minimalizacja kwadratu odległości:
gdzie sumowanie odbywa się po wszystkich punktach eksperymentalnych. Matematycy zakończyliby w tym miejscu, ale fizyka chce opisywać prawdziwa przypadki, a nie tylko taki wyimaginowane, więc bierze się pod uwagę niepewność pomiarową (punkty mogą mieć różną wagę - dokładnie zmierzony punkt, trzeba dokładnie odwzorować, a taki z dużą niepewnością, można potraktować mniej poważnie)
powyższe wyrażenie odpowiada właśnie aproksymacji opartej o metodę najmniejszych kwadratów.
Nie powiedziałem jednak jasno, gdzie tu jest miejsce na swobodę. Znamy postać analityczną funkcji f, ale w ogólności zależy ona od parametrów. Przykładowo, wiem, że jest to wielomian stopnia n:
ale nie znam n+1 współczynników i właśnie w oparciu o metodą najmniejszych kwadratów szukam tych n+1 współczynników takich, że funkcja f najlepiej opisuje zmienność zaobserwowaną w eksperymencie.
W tym celu powinniśmy poszukać minimum wyrażenie chi-kwadrat
w moim przypadku
w ten sposób możemy napisać n+1 równań (dla każdego współczynnika a_j), które następnie należy rozwiązać - problem jest dobrze postawiony i ma jednoznaczne rozwiązanie.
Takie równania dla prostej jest powszechnie dostępne w każdym poradniku metod numerycznych.
Słowa komentarza wymaga jednak małe oszustwo, którego się tu dopuściłem. Aby użycie metody najmn. kwadratów było uzasadnione, musimy mieć przynajmniej 3 punkty pomiarowe na każdy współczynnik, czyli N>(n+1)/3. Kolejna sprawa, metodą najmniejszych kwadratów można stosować dla dowolnej funkcji f, ale jeśli występujące tam współczynniki nie pojawiają się liniowo (i nie da się zastosować takiego przekształcenia, aby mieć kombinację liniową współczynników), to jest duża szansa, że nic nie uda się zrobić. Na przykład współczynnika B w funkcji A*sin(B*x) nie uda nam się tak wyznaczyć i trzeba korzystać z numerycznej minimalizacji wyrażenia.
pozdrawiam