Sigmoid Function

Creator

Creator

Created

Created

2020 Nov 19 12:56

Editor

Editor

Edited

Edited

2024 Sep 30 15:9

Refs

Refs

inverse of the natural logit function

\sigma(x) = \frac{1}{1 + e^{-(wx + b)}}

logistic은 s자 모양을 의미하는 시그모이드중 대표적

ReLU가 등장하기 이전에 활발하게 사용되었던 activation function

hidden 노드 바로 뒤에 부착

Sigmoid Functions

Softmax Function

어떻게 하면 "부드럽게" 연결할까?

1️⃣2️⃣ Math 구독하기 👍 : http://bit.ly/3Pw2NOG

어떻게 하면 "부드럽게" 연결할까?

https://youtube.com/watch?v=LS-C8KBvJYY&feature=shares

어떻게 하면 "부드럽게" 연결할까?

Logistic function

A logistic function or logistic curve is a common S-shaped curve ( sigmoid curve) with equation where , the value of the sigmoid's midpoint; , the curve's maximum value; , the logistic growth rate or steepness of the curve.[1] For values of in the domain of real numbers from to , the S-curve shown on the right is obtained, with the graph of approaching as approaches and approaching zero as approaches .

Logistic function

https://en.wikipedia.org/wiki/Logistic_function

Logistic function

logit, sigmoid, softmax의 관계 - 한 페이지 머신러닝

logit, sigmoid, softmax의 관계] 이것들이서로다다른개념같지만 결론부터일단말씀드리면 - 반대로 sigmoid함수를 K개의클래스를대상으로일반화하면 softmax함수가유도됩니다. 그러므로 이결정을같은의미로간략하게표현한것이바로 이것과또아주같은의미로 odds는그값이 1보다큰지아닌지로결정의기준을세웠다면 로그함수의기본성질과분수의약분통분을다룰수있다면유도할수있습니다. 오른쪽 식은 클래스가 2개일 때의 odds를 표현해놓은 것이고 왼쪽 식은 클래스가 K개일 때의 odds를 표현해놓은 것입니다. 양 변을 i=1부터 K-1까지 더해주세요 분모에 있는 C_K는 i의 영향을 받지 않으므로, 분자의 P(C_i | x)만 더해지는데요, 확률의 합은 1이기 때문에, 1부터 K-1번째 클래스의 확률을 더한 값은 1-에서 K번째 클래스의 확률을 뺀 것과 같죠.

logit, sigmoid, softmax의 관계 - 한 페이지 머신러닝

https://opentutorials.org/module/3653/22995

logit, sigmoid, softmax의 관계 - 한 페이지 머신러닝

Recommendations

////////