Seonglae Choinverse of the natural logit function
logistic은 s자 모양을 의미하는 시그모이드중 대표적
ReLU가 등장하기 이전에 활발하게 사용되었던 activation function
hidden 노드 바로 뒤에 부착
Sigmoid Functions
어떻게 하면 "부드럽게" 연결할까?
1️⃣2️⃣ Math 구독하기 👍 : http://bit.ly/3Pw2NOG
https://youtube.com/watch?v=LS-C8KBvJYY&feature=shares
Logistic function
A logistic function or logistic curve is a common S-shaped curve ( sigmoid curve) with equation where , the value of the sigmoid's midpoint; , the curve's maximum value; , the logistic growth rate or steepness of the curve.[1] For values of in the domain of real numbers from to , the S-curve shown on the right is obtained, with the graph of approaching as approaches and approaching zero as approaches .
https://en.wikipedia.org/wiki/Logistic_function
logit, sigmoid, softmax의 관계 - 한 페이지 머신러닝
logit, sigmoid, softmax의 관계] 이것들이서로다다른개념같지만 결론부터일단말씀드리면 - 반대로 sigmoid함수를 K개의클래스를대상으로일반화하면 softmax함수가유도됩니다. 그러므로 이결정을같은의미로간략하게표현한것이바로 이것과또아주같은의미로 odds는그값이 1보다큰지아닌지로결정의기준을세웠다면 로그함수의기본성질과분수의약분통분을다룰수있다면유도할수있습니다. 오른쪽 식은 클래스가 2개일 때의 odds를 표현해놓은 것이고 왼쪽 식은 클래스가 K개일 때의 odds를 표현해놓은 것입니다. 양 변을 i=1부터 K-1까지 더해주세요 분모에 있는 C_K는 i의 영향을 받지 않으므로, 분자의 P(C_i | x)만 더해지는데요, 확률의 합은 1이기 때문에, 1부터 K-1번째 클래스의 확률을 더한 값은 1-에서 K번째 클래스의 확률을 뺀 것과 같죠.
https://opentutorials.org/module/3653/22995
