최적화를 수행하는 도구로 사용하는 것이 Least Squares
관찰값들은 매번 Noise가 존재할 수 있다. 이런 경우 정확한 parameter값을 구하는데 error가 최소화되도록 구하는 방법
error는 보통 관찰값과 추정값의 제곱으로 표현
어떤 식에서 구해야할 parameter가 4개일 때, 이 때 실험을 5번 진행되어 관찰되는 값이 parameter보다 많을 때 정확한 parameter 값을 구하기 위하여 사용하는 최적화 방법이 바로 Least Squares