측정과 오차

1. 실험과 측정

실험이란 잘 조절된 상황 하에서 보고자 하는 현상이 일어나도록 하고 측정장치로 정확히 측정하여 그 관측되어진 현상에 관한 법칙을 분석․규명하는 것이다. 따라서 좋은 실험을 위하여 여러 조건이 잘 조절된 환경에서 관측하고자 하는 현상이 일어날 수 있게 하는 실험장치와 정확한 측정을 위한 측정장치가 있어야 하고 또한 이들을 올바로 사용할 수 있어야 한다. 본 장에서는 측정장치를 이용하여 결정되어진 측정값으로부터 실험을 통하여 관측한 현상을 기술하는 물리법칙과 그의 물리량들의 값을 실험적으로 도출하는 방법과 도출된 실험값의 신뢰도를 분석하는 방법에 대하여 알아본다.

측정에는 직접측정과 간접측정이 있다. 간접측정이란 그 물리량의 값이 다른 물리량들의 직접측정을 통하여 결정되는 것이며, 직접측정이란 측정의 기준이 되는 기본단위를 엄밀히 정의하고 측정 대상을 측정기준과 비교하여 이 기본단위의 배수로 측정값을 결정하는 과정을 말한다. 예를 들어 직육면체의 각 변의 길이나 질량은 측정기구인 자나 저울을 사용하여 직접 측정할 수 있으나, 부피는 직접 측정한 세 변 길이의 곱으로 결정되는 간접 측정이다. 또한 직육면체의 밀도는 직접 측정된 질량을 간접 측정된 부피로 나누어준 값으로 결정되는 간접 측정이다. 이때 직접 측정의 기본단위보다 정확한 측정은 불가능하며 이러한 직접 측정의 부정확성은 간접측정의 부정확성도 야기하게 된다. 예를 들어 길이 단위인 1cm를 최소길이단위로 하여 이 기본단위의 정수배 위치에 눈금이 표시된 자로 연필의 길이를 측정하여 그 길이가 17.5cm라 함은 연필의 한 끝을 자의 0 눈금에 맞추었을 때 다른 끝이 눈금 17과 18 사이의 중간 부근에 있음을 나타내며 이때 17은 정확한 값이 되나 0.5는 대략적인 추정치가 되고 이보다 더 정확한 값은 알 수 없게 된다. 반면에 최소눈금단위가 0.1cm로 되어 있는 자를 사용하였다 하면 연필의 길이를 17.43cm 까지 측정할 수 있으며 이때 17.4는 정확한 값이 되며 0.03은 의미 있는 추정치가 된다. 따라서 최소눈금이 0.01cm인 자로 측정하였을 때는17.435cm라 할 때 17.435 모두가 의미를 갖는 숫자이나, 최소눈금이 0.1cm일 때는 17.43 만이 의미를 가지고, 최소눈금이 1cm인 자로 측정하였을 때는 17.4 만이 의미를 갖게 되며 17.435 중 그 외의 숫자는 연필 길이의 측정값과는 아무런 연관이 없는 무의미한 숫자이다. 이와 같이 측정기구에 따라 의미를 갖는 숫자를 그 측정값의 유효숫자라 하며 최소눈금의 1/2 내지 1/5의 값이 이 측정기구로 측정할 때 측정값의 부정확한 정도를 나타내는 측정 오차가 된다.

2. 유효숫자

측정값을 올바로 표기하기 위해서는 의미를 갖는 그 유효숫자를 명확히 나타내어야 한다. 일반적으로 표기되어 있는 숫자의 경우 유효숫자의 구분 방법은 다음과 같다.

(1) 0 이 아닌 맨 왼쪽의 숫자가 최상위 유효숫자이다.

(2) 소수점이 없을 경우에는 0 이 아닌 맨 오른쪽의 숫자나 그 오른쪽의 0 들 중 하나가 최하위 유효숫자이다.

(3) 소수점이 있을 경우에는 맨 오른쪽의 숫자가 0이더라도 이 수가 최하위 유효숫자이다.

(4) 최상위 유효숫자와 최하위 유효숫자 간의 모든 숫자가 유효숫자이다.

보기로

123     0.0234    3.45   4.00

등은 모두 유효숫자가 3 인 숫자들이다. 한편 5600 과 같은 숫자는 위의 (2) 항과 같이 5와 6의 두 자리만이 유효한 숫자인지 두 개의 0 도 유효숫자인지 애매하다. 이를 확실히 하기 위하여 다음과 같은 과학적인 숫자 표기방법이 사용되고 있다.

(1) 소수점을 최상위 유효숫자의 바로 오른쪽으로 옮기고 모든 유효숫자만을 적는다.

(2) 소수점을 왼쪽으로 옮겼을 때는 옮긴 자릿수만큼을 10의 지수로 하여 이를 (1)의 결과에 곱하여 표시한다.

(3) 소수점을 오른쪽으로 옮겼을 때는 옮긴 자릿수만큼을 10의 음의 지수로 하여 이를 (1)의 결과에 곱하여 표시한다.

이 방법의 보기로

[eqn: 5.6 times 10^2]     [eqn: 5.60 times 10^2]     [eqn: 5.600 times 10^2]    [eqn: 6.71 times 10^-3]

은 유효숫자가 각기 2, 3, 4, 3인 다른 측정값이 된다. 이러한 과학적 표기 방법을 이용하면 매우 큰 숫자나 매우 작은 숫자의 표기도 수월하여진다.

유효숫자만이 의미를 갖는 측정값들 간의 연산의 결과도 유효숫자 이외의 숫자들은 의미가 없게 된다. 덧셈과 뺄셈의 경우는 같은 자리의 숫자끼리 연산하는 것이므로 부정확도가 가장 큰 측정값의 오차보다 정확한 값은 무의미하게 된다. 반면에 어떤 수에 부정확한 수를 곱하면 그 결과가 부정확해지므로 곱셈과 나눗셈의 경우에는 그 결과는 가장 적은 갯수의 유효숫자보다 많은 유효숫자를 가질 수 없다. 이들은 다음과 같이 유효숫자 다음의 불확실한 자리를 x, y, z로 표기하여 다음과 같이 연산함으로 이해하기 쉽다.

1 2 . 3  x                                 1 2 . 3

4 2 5 . 4  5   y                           4 2 5 . 4 5

+   3 1 . 5  3   6 z                       +   3 1 . 5 4    (반올림사용)

-------------------                     -----------------

4 6 9 . 2 (8+x) * *   ------> 469.3        4 6 9 . 2 9  ------> 469.3

반올림                            반올림

2  3  . 5  6  y                        2 3 . 6    (반올림사용)

x        2  4 . z                     x     2 4

--------------------              --------------

2z . 3z 5z 6z yz                     9 4 . 4

9  4  . 2  4 4y                    +  4 7 2

+  4 7  1 .  2 2y                    ---------------

-----------------------                  5 6 6 . 4  -----> 570

5 6 (5+2x) . * * *  -----> 570                   반올림

반올림

왼쪽에 보인 이러한 방법의 경우, 연산 결과에서 불확실한 값이 처음 나타나는 자리에서 반올림하여 최종 결과를 얻는다. 오른쪽에 보인 두 번째 연산방법에서와 같이 덧셈과 뺄셈의 실제 계산에서는 처음 불확실한 값이 나타나는 자리의 다음 자리까지만 고려하여 계산한 후 반올림한다. 반면에 곱셈과 나눗셈의 경우는 가장 적은 갯수의 유효숫자를 기준으로 하여 다른 숫자의 경우 가장 적은 갯수의 유효숫자보다 한 자리 더 고려하여 계산한 결과를 반올림하여 가장 적은 갯수의 유효숫자와 같은 갯수의 유효숫자만이 최종 결과가 된다. 그 다음 자리는 그 값이 불확실한 오차가 된다.

3. 오차

측정값과 측정하고자 하는 물리량의 참값과의 차이를 오차라 한다. 특히 이 오차의 크기를 절대오차라 하고 절대오차를 참값으로 나누어 준 값을 상대오차라 한다. 상대오차가 측정값의 정밀도를 나타내며 측정값의 유효숫자와 직접적으로 관련된다. 정확한 측정을 위하여 오차를 줄여야 하며 오차발생의 원인을 알아야 한다. 직접측정의 경우에는 측정기구의 최소눈금의 크기, 눈금표시의 정밀도 등에 따라 발생하게 되는 계기오차, 측정기의 사용 환경 (온도, 압력, 습도 등)에 따른 측정기의 변화에 의해 야기되는 환경오차, 측정자 개인의 습관에 따라 발생되는 개인오차 등이 있으며, 간접측정의 경우에는 직접측정값들과 간접측정값을 연관시키는 이론적 관계식의 근사에 따라 이론오차가 발생하게 된다. 이러한 오차들은 측정할 때마다 동일하게 발생하는 오차로서 계통오차라 하며 이들 계통오차는 보다 정밀한 측정장치를 사용한다던지, 환경변화를 고려할 수 있는 보다 더 정확한 이론적 관계식을 이용한다던지, 보다 세심한 주의를 기울여 측정하므로써 줄일 수 있는 오차이며, 또한 측정후에 그 오차를 줄이는 보정을 할 수 있는 오차이다.

반면에 측정자의 부주의에 때문에 발생하는 과실오차는 측정할 때마다 그 크기만이 아니라 부호도 바뀔 수 있는 것으로 측정후에 보정할 수 없다. 따라서 측정시에 과실오차가 발생하지 않도록 주의해서 측정하여야 한다. 그러나 아무리 조심한다 하더라도 실험환경의 미묘한 변화, 측정눈금의 굵기, 측정자의 미묘한 변화 등에 의하여 측정할 때마다 크기와 부호가 달라지는 오차가 발생하게 된다. 이와 같이 조절 불가능하고 측정할 때마다 달라지는 오차를 우연오차(random error)라 한다. 우연오차의 존재는 측정할 때마다 측정값이 우발적으로 달라짐을 의미하며 측정값의 참값에 대한 오차가 어느 정도인지 알 수 없음을 의미한다. 측정에서 우연오차만 발생한다면, 같은 측정을 여러번 되풀이할 때 참값과 많이 다른 측정값보다 참값에 가까운 측정값이 더 자주 나타나고, 최소눈금보다 큰 오차를 갖는 측정값은 거의 나타나지 않고, 참값보다 큰 측정값과 작은 측정값중 어느 것이 더 발생하기 쉬운 것이 없다는 것을 경험적으로 알 수 있다. 이러한 우연오차가 가지고 있는 특성은 다음과 같이 정리할 수 있다.

1. 작은 크기의 오차가 생길 확률이 큰 크기의 오차가 생길 확률보다 크다.

2. 크기가 매우 큰 오차가 발생할 확률은 매우 작다.

3. 같은 크기의 음의 오차와 양의 오차가 생길 확률은 같다.

이러한 특성은 무수히 되풀이하여 측정할 때 측정값이 [eqn: x] 로 측정될 확률함수 [eqn: P(x)] 가 그림.1 과 같은 형태로 나타나도록 한다. 여기서 측정값이 [eqn: x] 와 [eqn: x + dx] 사이의 값으로 측정될 확률은 [eqn: P(x) dx] 가 되며 [eqn: x] 가 참값 [eqn: X] 와 같을 때 함수 [eqn: P(x)] 가 최대가 된다. 물론 유한한 횟수 되풀이하여 측정할 경우에는 정확한 연속함수 [eqn: P(x)] 를 알 수 없으며 따라서 확률함수 [eqn: P(x)] 가 최대인 [eqn: x] 값을 정확히 알 수 없다.  그러나 여러번 반복하여 측정하면 할수록 위의 우연오차의 특성에 따라 우연오차가 작고 참값에 가까운 측정값을 추정할 수 있게 된다. 즉 우연오차를 작게 하기 위하여 같은 측정을 여러번 반복하여야 한다.

그림 . 우연오차에 따른 측정값 분포에 대한 확률함수 P(x). 측정을 여러번 되풀이 할수록 확률함수가 최대가 되는 최빈값 X 가 참값으로 접근한다.

여러번 되풀이하여 측정한 측정값들을 대표하여 참값에 가장 가까운 값으로 택하여야 하는 값은 어떤 것이며 이렇게 택한 값의 참값에 얼마나 가까운가를 나타내는 신뢰도는 얼마인지 알아야 한다. 측정을 무수히 되풀이하면 정확한 확률함수 [eqn: P(x)] 를 알 수 있으며 이로부터 확률이 가장 큰 최빈값 (most probable value)을 알 수 있어 참값을 정확히 추정할 수 있으나, 측정 횟수가 유한한 경우 일반적으로 측정값들의 대푯값은 특성 1 에 따라 가장 여러번 측정되어진 값, 특성 3 에 의해 우연오차가 서로 상쇄되어 영이 되는 산술평균값(측정되어진 값들의 합을 그 측정 횟수로 나누어 준 값), 측정되어진 값들 중 가장 큰 값과 가장 작은 값의 중간인 중앙값 등을 확률이 가장 큰 최빈값 대신에 참값에 가장 가까운 측정 대푯값으로 택하게 된다. 유한한 횟수의 측정으로부터 보다 명확하고 정확한 참값을 알기 위해서는 참값에 가장 접근하는 실험적 최빈값을 알아야 하며 이를 위하여 정확한 확률함수 [eqn: P(x)] 를 추정할 수 있어야 한다. 또한 직접측정의 경우에는 측정값의 분포에 따라 간단히 확률함수 [eqn: P(x)] 를 추정할수 있으며 그의 극대점으로부터 최빈값을 결정할 수 있으나, 간접측정의 경우에는 보다 복잡해질 수 있으며 또한 측정을 통하여 결정되는 실험적 최빈값의 신뢰도도 알아야 하므로 이들을 체계적으로 결정하는 방법을 알아보도록 하자.

4. 최소제곱법

여러번 측정하였을 때 각 측정값 [eqn: x_i] 의 참값 [eqn: X] 에 대한 오차는 [eqn: x_i - X]  로 주어진다. 양의 오차와 음의 오차가 같은 확률로 나타난다는 것은 무수히 많은 반복측정의 경우 그들의 오차의 합이 영, 즉 [eqn: sum_i (x_i - X) = 0]  이 되며  측정의 대푯값을 [eqn: x_0] 라 할 때 대푯값으로부터의 각 측정값의 오차 [eqn: x_i - x_0] 의 합 [eqn: sum_i ~(x_i - x_0 )] 가 영에 가까울수록 대푯값 [eqn: x_0] 가 참값 [eqn: X] 에 가까워짐을 의미한다. 반면에 작은 크기의 오차가 큰 크기의 오차보다 발생할 확률이 크다는 것은 대푯값 [eqn: x_0] 이 최빈값 (most probable value)이 되며 이 값 [eqn: x_0] 로부터 측정값의 오차크기의 합 [eqn: sum_i ~|x_i - x_0 |] 혹은 제곱오차의 합 [eqn: chi^2 = sum_i ~(x_i - x_0 )^2]  가  작아질수록 실험적 최빈값 [eqn: x_0] 가 발생확률이 가장 큰 값인 참값에 가까워짐을 의미한다. 여기서 제곱오차의 합 [eqn: chi^2] (카이제곱)이 최소가 되는 [eqn: x_0] 는 [eqn: chi^2] 을 [eqn: x_0] 으로 미분한 값 즉 [eqn: chi^2] 의 기울기가 영일 때가 되며, 이때 자동적으로 오차의 합이 영이 된다는 조건을 만족하게 되어, 이 조건으로 결정된 최빈값 [eqn: x_0] 가 위에서 언급한 우연오차의 모든 조건들을 가장 잘 충족하는 즉 참값에 가장 가까운 값이 된다. 이와 같이 제곱오차의 합 [eqn: chi^2] 를 최소화하도록 측정의 대푯값 [eqn: x_0] 을 결정하는 방법을 최소제곱법 (least chi square method)이라 한다. 직접측정의 경우 최소제곱법에 의한 최빈값 [eqn: x_0] 은 여러 측정값들 [eqn: x_i] 의 단순한 산술평균 즉 [eqn: x_0 = bar x = {1}over{n} sum_i x_i]  이 된다. 한편 측정값들이 참값에 가까이 분포되어 있을수록 즉

[eqn: sigma^2 ~= {1}over{n} sum_i (x_i - X)^2 ~= bar{(x - X)^2 ~}]

으로 정의되고 측정값의 평균제곱오차 또는 표준편차라 부르는 [eqn: sigma] 가 작을수록 그 실험적 최빈값 [eqn: x_0] 의 평균제곱오차 즉 측정 최빈값의 표준편차

[eqn: sigma_0 = |x_0 - X| = sqrt{(x_0 - X)^2~}]

가 작아져 최빈값이 참값에 가까울 신뢰도가 커진다. 양의 우연오차와 음의 우연오차가 같은 확률로 발생한다는 특성에 따라, 최빈값 [eqn: x_0] 의 참값 [eqn: X] 로 부터의 오차를 나타내는 평균값의 표준편차인 [eqn: sigma_0 = |x_0 - X|] 와 측정값의 표준편차 [eqn: sigma] 간에

[eqn: sigma_0 ^2 = |x_0 - X|^2 = left({1}over{n} sum_i x_i - X right)^2 = {1}over{n^2} left( sum_i (x_i - X) right)^2]

[eqn: = {1}over{n^2} left( sum_i (x_i - X)^2 + sum_{i ne j} (x_i - X)(x_j - X) right) = {1}over{n^2} sum_i (x_i - X)^2 = {sigma^2}over{n}]

의 관계가 있다. 이에 따라 측정값의 표준편차 [eqn: sigma] 가 작을수록 또는 측정횟수 [eqn: n] 이 클 수록 최빈값의 표준편차 [eqn: sigma_0] 가 작아지고 최빈값 [eqn: x_0] 의 신뢰도가 커진다. 측정값의 표준편차 [eqn: sigma] 는 측정값의 분포 확률함수 [eqn: P(x)] 에 의하여 결정되며 이 확률함수는 우연오차를 유발하게 되는 측정장치와 측정환경에 따라 결정되는 것으로 측정 횟수와는 무관한 양이다. 따라서 여러번 측정하여도 측정값의 표준편차 [eqn: sigma] 의 값은 작아지지 않고 단지 측정환경에 따라 달라지는 일정한 값으로 수렴할 뿐이다. 따라서 여러번 측정함에 따라 측정 최빈값의 표준편차 [eqn: sigma_0] 는 측정횟수 [eqn: n] 의 제곱근의 역비례로 작아지게 되어 최빈값 [eqn: x_0] 의 신뢰도가 좋아지게 된다. 이는 실험 결과의 신뢰도를 높이기 위하여 될 수 있는 대로 여러번 되풀이하여 같은 실험을 반복하여야 함을 의미한다.

참값 [eqn: X] 를 모르나 최빈값 [eqn: x_0] 이 산술평균 [eqn: bar x = {1}over{n} sum_i x_i] 과 같으므로 위의 식들로부터

[eqn: n sigma^2 = sum_i (x_i - X)^2 = sum_i (x_i - x_0 + x_0 -X)^2 = sum_i (x_i - x_0 )^2 + sum_i (x_0 - X)^2 = sum_i (x_i - x_0 )^2 + sigma^2]

이 되어 최빈값 [eqn: x_0] 를 이용하여

[eqn: sigma^2 = {1}over{n-1} sum_i (x_i - x_0 )^2]

[eqn: sigma_0 = |x_0 - X| = {sigma}over{sqrt{n}} = {1}over{sqrt{n}} sqrt{{1}over{n-1} sum_i (x_i - x_0 )^2~}]

로 최빈값 [eqn: x_0] 의 평균제곱오차 즉 평균값 [eqn: x_0 = bar x] 의 표준편차 [eqn: sigma_0 = |x_0 - X|] 를 구할 수 있으며 이 값에 따라 그의 신뢰도가 결정되어 진다. 실험결과로서 보고하여야 할 값은 측정값들을 대표하는 평균값 [eqn: x_0 = bar x] 와 그의 참값에 대한 신뢰도를 나타내는 표준편차 [eqn: sigma_0] 이다. 보통 물리량 [eqn: x] 에 대한 측정결과를

[eqn: x_0 ~ plusminus ~sigma_0]

로 나타낸다. 물론 이 물리량의 단위도 함께 보고하여야 한다.

5. 간접측정에 대한 최소제곱법

측정값들의 계통오차가 다르거나, 측정자의 숙련도 등에 의해 측정값마다 그 신뢰도가 다를 경우에는 신뢰도가 큰 측정값을 더 중시할 수 있는 최소제곱법이 필요하다. 또한 간접측정의 경우 직접 측정한 값들과 구하고자 하는 물리량간의 상관관계가 고려되어야 한다. 이를 위하여 단순한 직접측정의 경우를 기준으로 고찰한 위의 최소제곱법을 다음과 같이 확장하여 사용한다. 실험적으로 결정하고자하는 물리량 [eqn: a], [eqn: b], [eqn: c], 등의 물리량들을 직접측정물리량 [eqn: x], [eqn: y], [eqn: z], 등으로부터 함수관계 [eqn: f(x, y, z, cdots ~; a, b, c, cdots ) = 0] 에 따라 간접적으로 결정한다하자. 이러한 간접측정의 경우 각 물리량들이 정확하고 이들간의 물리법칙의 함수관계가 정확할 때 [eqn: f = 0] 이 정확히 성립되나, 실제 측정값은 오차를 갖는 부정확한 값이므로 [eqn: f_i = f(x_i , y_i , z_i , cdots ~; a, b, c, cdots )] 이 0 이 아닌 다른 값이 되며 이 [eqn: f_i] 값이 [eqn: f] 의 참값 0 으로부터의 오차가 된다. 이때 각 측정값 [eqn: f_i] 에 대하여 가중치 [eqn: w_i] 를 부여한 제곱오차 [eqn: {f_i}^2]  의 합 즉

[eqn: chi^2 ~=~ sum_i w_i {f_i}^2 ~=~ sum_i w_i ~left[{f(x_i , y_i , z_i , cdots ~; a, b, c, cdots )}right]^2]

으로 최소제곱법을 일반화한다. 측정의 계통오차 [eqn: sigma_i] 가 측정 때마다 달라질 때는 그 오차가 작을수록 그 측정값의 신뢰도가 더 좋아짐을 고려하여 [eqn: w_i = {sigma_i}^{-2}] 로 가중치를 부여한다. 측정의 계통오차 [eqn: sigma_i] 가 달라지지 않고 같은 값([eqn: sigma_i = sigma] )이고 직접측정([eqn: a = X] )인 경우, 이식으로 정의되는 최소제곱법은 가중치를 [eqn: w_i = 1] 로 택함으로써 앞에서 다룬 직접측정에 대한 최소제곱법과 같아진다. 일반적인 경우에는 각 측정에 대한 적합한 가중치 [eqn: w_i] 와 물리량들간의 함수관계 [eqn: f] 를 알아야 하며, 함수 [eqn: f] 의 형태에 따라 그의 최빈값과 표준편차가 달라진다.

예를 들어 Ohm 의 법칙에 따른 전기저항체의 전기저항 [eqn: R] 의 결정을 위하여 저항체에 흐르는 전류 [eqn: I_i] 와 저항체 양단에 걸리는 전위차 [eqn: V_i] 를 측정하여 간접측정으로 결정하는 경우를 보자. 이 때 이들간의 함수관계는

[eqn: f(V, I ~; R) = V - R I]

가 되며, 이 저항체가 Ohm 의 법칙을 정확히 따르는 물체이면 [eqn: f = 0] 이 성립된다. 각 측정의 계통오차가 같다고 할 때, 가중치는 [eqn: w_i = 1] 로 택할 수 있으며, 따라서

[eqn: chi^2 = sum_i ~[f (V_i , I_i , ~; R)]^2 = sum_i (V_i - R I_i )^2]

[eqn: {partial chi^2}over{partial R} = 0 ~~~ = => ~~~ sum_i (V_i - R I_i ) I_i = 0 ~~~ = => ~~~ R = {[sum_i V_i I_i ]/n}over{[sum_i {I_i}^2 ]/n} = {bar{VI~}}over {bar{I^2~}}]

의 관계로 전력량 [eqn: VI] 의 산술평균과 전류제곱 [eqn: I^2] 의 산술평균의 비율로 전기저항 [eqn: R] 이 결정되어진다. 반면에 이 물리량들간의 함수관계를 [eqn: f(V, I ~; R) = R - V/I] 의 형태로 취하면

[eqn: chi^2 = sum_i left( R - {V_i / I_i }right)^2 = sum_i {(V_i - R I_i )^2}over{{I_i}^2}]

[eqn: {partial chi^2}over{partial R} = 0 ~~~= =>~~~ sum_i (R - V_i / I_i ) = 0 ~~~= =>~~~ R = {1}over{n} sum_i left({V_i}over{I_i} right)= bar{(V/I)~}]

로 전위차와 전류의 비율의 산술평균의 매우 간단한 형태로 달라진다. 이 경우의 [eqn: chi^2] 는 앞의 경우와 각 측정치의 전류 [eqn: I_i] 에 따라 [eqn: w_i = {I_i}^{-2}] 로 다른 가중치를 사용한 것으로 작은 전류의 경우에 더 큰 신뢰를 가지고 더 중요하게 취급한 것이다. 그러나 같은 전류계와 전압계를 사용하는 실제 전류와 전압 측정의 경우 전류에 따른 신뢰도에 큰 차이가 없으므로 첫 번째의 방법이 보다 더 적절하다 하겠다.

다른 예로서 온도에 따라 길이가 변하는 금속선의 선팽창계수를 결정하고자 하는 경우를 보자. 이를 위하여 여러 다른 온도 [eqn: T_i] 에서 금속선의 길이 [eqn: l_i] 을 직접 측정한 후 함수

[eqn: f(T-T_0, l ~; alpha, l_0 ) = [l_0 + alpha (T - T_0 )] - l]

에 따라 선팽창계수 [eqn: alpha] 와 기준온도 [eqn: T_0] 에서의 금속선의 길이 [eqn: l_0] 을 결정한다. 이때

[eqn: chi^2 = sum_i {f_i}^2 = sum_i ~[l_0 + alpha (T_i - T_0 ) - l_i ]^2]

[eqn: {partial chi^2}over{partial l_0 } = 0 ~~~= =>~~~ sum_i (l_i - l_0 ) = alpha sum_i (T_i - T_0 ) ~~~= =>~~~ l_0 = bar{l~} - alpha~bar{(T - T_0 )~}]

[eqn: {partial chi^2}over{partial alpha} = 0 ~~~ = => ~~~ sum_i ~[ l_0 + alpha (T_i - T_0 ) - l_i ] (T_i - T_0 ) = 0]

[eqn: = =>~~~ l_0 bar{(T - T_0 )} + alpha~bar{(T - T_0 )^2~} = bar{l ~(T - T_0 )~}]

따라서

[eqn: l_0 = {bar{l~}~~bar{(T-T_0 )^2~} ~-~ bar{(T-T_0 )~}~~bar{l(T-T_0 )}}over {bar{(T-T_0 )^2~} ~-~ bar{(T - T_0 )~}~^2}]

[eqn: alpha = {bar{l(T - T_0 )} - bar{l~}~bar{(T - T_0 )~}} over {bar{(T - T_0 )^2~} - {bar{(T - T_0 )~}}^2 }]

이 된다. 이와 같이 간접측정 물리량이 여러 가지인 경우([eqn: alpha] 와 [eqn: l_0])에도 같은 개념의 최소제곱법이 적용되어진다.

또 다른 예로서 [eqn: RC] 전기회로의 시상수 [eqn: tau = RC] 를 이 회로에 있는 축전기 양단사이의 전위차 [eqn: V] 의 시간 [eqn: t] 에 따른 변화로부터 간접측정으로 결정하는 경우를 살펴보자. 이 회로에 기전력 [eqn: E] 의 건전지를 연결한 순간부터의 시간 [eqn: t] 에 따른 충전시의 축전기 양단의 전위차 는 [eqn: V(t) = E(1 - e^{-t/tau})] 의 관계를 가지며

[eqn: f(V ~; t ) = V - E (1 - e^{-{t}/tau})]     또는    [eqn: f(V ~; t ) = t + tau ln left(1 - {V}over{E} right)]

등의 여러 가지 형태의 함수관계를 이용할 수 있다. 이들 두 함수관계의 차이는 위의 전기저항에 대한 예의 두가지 함수관계의 차이와는 다르다. 이 예의 경우 결정하고자 하는 물리량 [eqn: tau] 가 선형으로 나타나는 두 번째의 경우, 시간 [eqn: t] 가 큰 경우나 [eqn: t] 가 작은 경우가 [eqn: chi^2] 에서 같은 가중치로 고려되나, 지수함수로 나타나는 첫번째의 경우에는 시간 [eqn: t] 가 [eqn: e^{-t / tau}] 의 형태로 나타나 [eqn: t] 가 작을 때에 [eqn: t] 가 클 때보다 더 큰 가중치를 부여한 것에 해당된다. 앞에서 고려한 전기저항의 경우에는 두 함수 모두 결정하고자 하는 전기저항에 대한 선형방정식 (일차함수)으로 나타나고 단지 [eqn: chi^2] 의 가중치 만 다른 것이었으나, 여기서 고려한 시상수 결정의 예에서는 두 번째 함수형태는 결정하고자 하는 시상수 [eqn: tau] 에 대한 선형방정식으로 나타나는 반면 첫 번째 함수형태는 비선형인 지수함수로 나타나고 있다. 이에 따라 최소제곱법을 위한 [eqn: chi^2] 의 극대조건식도 결정하고자 하는 변수에 대한 선형방정식이냐 아니면 비선형방정식이냐로 달라지며, 비선형의 경우에는 일반적으로 그의 해를 구하기가 어려워진다. 따라서 선형방정식형태의 함수관계를 이용하는 것이 수월하며 일반적으로 사용하는 방법이다. 물론 [eqn: t] 가 작을 때를 지수함수관계로 더 중요하게 가중치를 부여하고자 하면 비선형이지만 첫 번째 형태의 함수관계를 이용하여야 한다.

이들 예에서 본 바와 같이 실험적으로 결정하고자 하는 물리량에 따라 각 물리량간의 함수관계를 될 수 있는 대로 결정하고자 하는 물리량에 대한 선형의 형태로 사용하고 적절한 가중치를 부여하여 최소제곱법을 적용하여야 한다. 그러나 선형화가 불가능한 물리량의 경우에는 비선형 방정식의 형태로 최소제곱법을 확장 적용하여야 한다. 결정하고자 하는 물리량의 실험값들([eqn: a], [eqn: b], [eqn: c] 등)이 최소제곱법으로 결정되어지면 이들의 신뢰도를 나타내는 표준편차도 알아야 한다. 간접측정으로 결정된 물리량의 표준편차는 함수관계 [eqn: f] 에 따라 직접측정된 물리량의 표준편차에 의해 결정되어진다. 물리법칙에 따라 함수관계로 서로 연관되는 물리량간의 오차의 전파는 그들간의 함수 [eqn: f(x, y, z, cdots ~; a, b, c, cdots )] 에 의해 결정된다. 즉 물리량 [eqn: a] 의 오차는

[eqn: df = left({partial f}over{partial a}right) da + left({partial f}over{partial b}right) db + left({partial f}over{partial c}right) dc + cdots + left({partial f}over{partial x}right) dx + left({partial f}over{partial y}right) dy + left({partial f}over{partial z}right) dz + cdots = 0]

에서 간접측정물리량 [eqn: b, c, cdots] 들이 고정되어 있을 때

[eqn: da_i = a_i - a_0 = - left({partial f}over{partial a}right)^{-1} left[ left({partial f}over{partial x}right) (x_i -x_0 ) + left({partial f}over{partial y}right) (y_i -y_0 ) + left({partial f}over{partial z}right) (z_i -z_0 ) + cdots right]]

가 되고 직접측정 물리량의 최빈값 [eqn: x_0], [eqn: y_0], [eqn: z_0] 등은 그 측정값들의 산술평균과 같아지므로 이의 제곱의 합([eqn: {sigma_a}^2 ~propto~ sum_i (d a_i )^2] )으로 나타나는 이 물리량 [eqn: a] 의 표준편차는

[eqn: {sigma_a}^2 = left({partial f}over{partial a}right)^{-2} ~left[ left({partial f}over{partial x}right)^2 {sigma_x}^2 + left({partial f}over{partial y}right)^2 {sigma_y}^2 + left({partial f}over{partial z}right)^2 {sigma_z}^2 + cdots right]]

으로 결정되어짐을 쉽게 알 수 있다. 이때의 함수 [eqn: f] 는 간접측정의 최빈값 결정 때와는 달리 어떤 형태의 함수를 이용하더라도 표준편차들 간에 같은 관계식이 성립된다. 간접측정 물리량 [eqn: a], [eqn: b], [eqn: c] 등의 표준편차 [eqn: sigma_a], [eqn: sigma_b], [eqn: sigma_c] 등은 직접측정 물리량 [eqn: x], [eqn: y], [eqn: z] 등의 표준편차 [eqn: sigma_x], [eqn: sigma_y], [eqn: sigma_z] 등으로부터 결정되어진다.

최소제곱법은 직접 또는 간접측정의 최빈값과 이들의 신뢰도를 나타내는 표준편차의 결정만이 아니라 여러 물리량간의 함수관계를 실험적으로 규명하는 데에도 이용되어질 수 있다. (이는 간접측정의 경우와 개념적으로 같으며 여기서의 구체적인 고찰은 생략한다.) 이때는 최소가 되는 [eqn: chi^2] 의 값이 실험적으로 결정되어진 함수관계의 신뢰도를 나타내며 이 값이 작을수록 이 함수관계의 신뢰도가 커진다.

일반적으로 실험 결과로서 보고하여야 하는 양은 각 물리량에 대해서는

[eqn: a_0 plusminus sigma_a]

[eqn: b_0 plusminus sigma_b]

[eqn: c_0 plusminus sigma_c]

등의 실험적으로 결정되어진 최빈값과 표준편차 및 이에 해당되는 단위를 보고하여야 하며, 함수관계를 실험적으로 결정하였을 때는 이때의 함수와 최소가 되는 [eqn: chi^2] 의 값도 함께 보고하여야 한다.