Cost Function

Creator

Creator

Created

Created

2023 Mar 9 2:2

Editor

Editor

Edited

Edited

2024 Apr 22 5:28

Refs

Refs

Error Function, J function, Empirical Risk, Empirical Loss

Sum of Loss function for input dataset

J(W) = \frac{1}{n}\sum_i L(f(x^{(i)};W), y^{(i)})

Matrix Vector notation for MSE

J(\theta) = \frac{1}{2}\Sigma_{i=1}^n(h_\theta(x^{(i)}) - y^{(i)})^2

J(\theta) = \frac{1}{2}(X\theta - \vec{y})^T(X\theta - \vec{y})

Lest squares cost function

Objective Function, Loss Function, Cost Function의 차이

학습을 통해 최적화시키려는 함수이다. 딥러닝에서는 일반적으로 학습을 통해 Cost를 최소화시키는 optimize작업을 수행을 하고 이때 Cost function을 Objective function이라 볼 수 있다. 하지만 Objective function에 꼭 Cost function만 있는 것은 아니다. 예로 MLE와 같이 학습을 통해 확률을 최대화하려는 function 역시 Objective function으로 정의되지만 이는 Cost, Loss function은 아니다. input(x)에 대한 예측값(y^)과 실제 label값(y) 사이의 오차를 계산하는 함수이다. 예로 linear regression의 경우 Loss function으로 최소제곱오차를 사용한다. 즉, 하나의 input data에 대..

Objective Function, Loss Function, Cost Function의 차이

https://ganghee-lee.tistory.com/28

Objective Function, Loss Function, Cost Function의 차이

Least Squares Error

Recommendations

///////