Loss Function

Creator

Creator

Seonglae Cho

Created

Created

2023 Mar 27 16:56

Editor

Editor

Seonglae Cho

Edited

Edited

2024 Oct 25 22:34

Refs

Refs

Model Regularization

Newton–Raphson method

Gradient Available

A function that quantifies the difference between predicted and actual outcomes.

Output type affects our choice of loss function

The loss of our network measures the cost incurred from incorrect predictions.

KL Divergence

Cross Entropy

decision-theoretic object that we are bringing in to quantify the negative consequences of error

Classification Loss Functions

Binary Cross Entropy

Categorical Cross Entropy

Regression Loss Functions

L1 Loss Function

Loss Function Notion

Fitness function

0023 Loss & Metric - Deepest Documentation

0023 Loss & Metric - Deepest Documentation

https://deepestdocs.readthedocs.io/en/latest/002_deep_learning_part_1/0023/

Difference by Example

What is the difference between a loss function and an error function?

Is the term "loss" synonymous with "error"? Is there a difference in definition? Also, what is the origin of the term "loss"? NB: The error function mentioned here is not to be confused with normal

What is the difference between a loss function and an error function?

https://stats.stackexchange.com/questions/359043/what-is-the-difference-between-a-loss-function-and-an-error-function

What is the difference between a loss function and an error function?

Loss Functions

Module: tf.keras.losses | TensorFlow v2.12.0

Built-in loss functions.

Module: tf.keras.losses | TensorFlow v2.12.0

https://www.tensorflow.org/api_docs/python/tf/keras/losses

Objective Function, Loss Function, Cost Function의 차이

학습을 통해 최적화시키려는 함수이다. 딥러닝에서는 일반적으로 학습을 통해 Cost를 최소화시키는 optimize작업을 수행을 하고 이때 Cost function을 Objective function이라 볼 수 있다. 하지만 Objective function에 꼭 Cost function만 있는 것은 아니다. 예로 MLE와 같이 학습을 통해 확률을 최대화하려는 function 역시 Objective function으로 정의되지만 이는 Cost, Loss function은 아니다. input(x)에 대한 예측값(y^)과 실제 label값(y) 사이의 오차를 계산하는 함수이다. 예로 linear regression의 경우 Loss function으로 최소제곱오차를 사용한다. 즉, 하나의 input data에 대..

Objective Function, Loss Function, Cost Function의 차이

https://ganghee-lee.tistory.com/28

Objective Function, Loss Function, Cost Function의 차이

0023 Loss & Metric - Deepest Documentation

머신러닝에서는 훈련을 통해 목표를 잘 달성했는지를 나타내는 값을 잡고, 그 값을 기준으로 훈련을 시행합니다. 하나의 실험이더라도 이런 값은 여러 가지가 있을 수 있습니다. 이 중 학습을 통해 직접적으로 줄이고자 하는 값을 손실(loss), 에러(error), 혹은 코스트(cost)라고 합니다. 한편, 학습을 통해 목표를 얼마나 잘(못) 달성했는지를 나타내는 값을 척도(metric)라고 합니다. 머신러닝의 최종 목표는 척도로 달성률을 표시하지만, 직접 척도를 낮추도록 훈련하는 것은 여러 가지 이유로 힘들기 때문에 손실을 줄이는 방향으로 훈련합니다. 손실과 에러 모두 손실 함수(loss function), 에러 함수(error function)이라고 이야기하기도 합니다.

0023 Loss & Metric - Deepest Documentation

https://deepestdocs.readthedocs.io/en/latest/002_deep_learning_part_1/0023/

Recommendations

//////