Loss Function

Gradient Available

A function that quantifies the difference between predicted and actual outcomes.

Output type affects our choice of loss function

l: Y \times Y \rightarrow R_+

The loss of our network measures the cost incurred from incorrect predictions.

L(f(x^{(i)};W), y^{(i)}), l(\hat{\phi}(X), Y)

KL Divergence

Cross Entropy

decision-theoretic object that we are bringing in to quantify the negative consequences of error

Classification Loss Functions

Binary Cross Entropy

Categorical Cross Entropy

Regression Loss Functions

Loss Function Notion

When does a predictor know its own loss?

Given a predictor and a loss function, how well can we predict the loss that the predictor will incur on an input? This is the problem of loss prediction, a key computational task associated with...

https://arxiv.org/abs/2502.20375

0023 Loss & Metric - Deepest Documentation

https://deepestdocs.readthedocs.io/en/latest/002_deep_learning_part_1/0023/

Difference by Example

What is the difference between a loss function and an error function?

Is the term "loss" synonymous with "error"? Is there a difference in definition? Also, what is the origin of the term "loss"? NB: The error function mentioned here is not to be confused with normal

https://stats.stackexchange.com/questions/359043/what-is-the-difference-between-a-loss-function-and-an-error-function

Loss Functions

Module: tf.keras.losses | TensorFlow v2.12.0

Built-in loss functions.

https://www.tensorflow.org/api_docs/python/tf/keras/losses

Objective Function, Loss Function, Cost Function의 차이

학습을 통해 최적화시키려는 함수이다. 딥러닝에서는 일반적으로 학습을 통해 Cost를 최소화시키는 optimize작업을 수행을 하고 이때 Cost function을 Objective function이라 볼 수 있다. 하지만 Objective function에 꼭 Cost function만 있는 것은 아니다. 예로 MLE와 같이 학습을 통해 확률을 최대화하려는 function 역시 Objective function으로 정의되지만 이는 Cost, Loss function은 아니다. input(x)에 대한 예측값(y^)과 실제 label값(y) 사이의 오차를 계산하는 함수이다. 예로 linear regression의 경우 Loss function으로 최소제곱오차를 사용한다. 즉, 하나의 input data에 대..

https://ganghee-lee.tistory.com/28

0023 Loss & Metric - Deepest Documentation

머신러닝에서는 훈련을 통해 목표를 잘 달성했는지를 나타내는 값을 잡고, 그 값을 기준으로 훈련을 시행합니다. 하나의 실험이더라도 이런 값은 여러 가지가 있을 수 있습니다. 이 중 학습을 통해 직접적으로 줄이고자 하는 값을 손실(loss), 에러(error), 혹은 코스트(cost)라고 합니다. 한편, 학습을 통해 목표를 얼마나 잘(못) 달성했는지를 나타내는 값을 척도(metric)라고 합니다. 머신러닝의 최종 목표는 척도로 달성률을 표시하지만, 직접 척도를 낮추도록 훈련하는 것은 여러 가지 이유로 힘들기 때문에 손실을 줄이는 방향으로 훈련합니다. 손실과 에러 모두 손실 함수(loss function), 에러 함수(error function)이라고 이야기하기도 합니다.

https://deepestdocs.readthedocs.io/en/latest/002_deep_learning_part_1/0023/

Harmax for interpretable AI

arxiv.org

https://arxiv.org/pdf/2502.01628

Loss Function

Gradient Available

Difference by Example

Loss Functions

Recommendations