Seong-lae ChoFunction approximation with a non-trivial number of hidden layers
Deep Learning presents a challenge to classical statistical learning theory. Neural networks often achieve zero training error, yet they generalize well to unseen data. This contradicts traditional expectations and makes many classical generalization bounds ineffective.
Sparse activation and the Superposition Hypothesis have been proposed as possible explanations for the Grokking phenomenon, where models learn to activate sparsely and generalize well after initially overfitting when trained on very large datasets.
Deep Learning Notion
Deep Learning Usages
If you only thing you know is DNN, everything is gonna look like problems suited for DNN. In some cases, actually you might have different predictors more suitable.
If the only tool you have is a hammer, to treat everything as if it were a nail. - Abraham Maslow
Interview from popular people
제프리 힌턴이 말하는 AI의 영향력과 잠재력
지난 시간에는 OpenAI의 Sam Altman의 이야기를 들었으니, 이번에는 AI의 대부라 불리우는 Geoffrey Hinton의 인터뷰를 들어볼까요?
그는 볼츠만 머신에 역전파(backpropagation)를 결합해 CNN을 만들었던, AI의 대부라 불리우는 사람입니다. 뿐만 아니라 47년생의 나이에도 불구하고 2022년 12월, 역전파를 대체할 Forward-Forward 알고리즘을 제시하기도 했죠. FF 알고리즘은 별도의 역전파 없이 해당 레이어에서 학습을 하는, 레이어 단위로 업데이트하는 놀라운 생각을 담았습니다. 아직 역전파를 대체하기에는 무리가 있지만 끊임없이 역전파의 단점을 개선하려하고 모델이 뇌처럼 학습하도록 하겠다는 그 열정이 대단한 사람입니다.
그런 그에게서 CBS Morning이 2023년 3월 25일, 좋은 인터뷰를 끌어내었습니다. 이렇게 용기있는 사람들에게서 이야기를 들으며 우리 뇌 속의 노브를 끊임없이 돌리며 업데이트한다면 우리 스스로의 예측력도 높아질 것이라 생각합니다.
시청해주시는 한 분 한 분께 진심으로 감사드립니다.
The video is from an interview with CBS Mornings, therefore this Channel will not generate revenue from it.
인터뷰 영상의 소스는 다음과 같습니다.
Subscribe to “CBS Mornings” on YouTube:
/ cbsmornings
Watch CBS News: http://cbsn.ws/1PlLpZ7c
Download the CBS News app: http://cbsn.ws/1Xb1WC8
Follow "CBS Mornings" on Instagram: https://bit.ly/3A13OqA
Like "CBS Mornings" on Facebook: https://bit.ly/3tpOx00
Follow "CBS Mornings" on Twitter: https://bit.ly/38QQp8B
Subscribe to our newsletter: http://cbsn.ws/1RqHw7T
Try Paramount+ free: https://bit.ly/2OiW1kZ
https://www.youtube.com/watch?v=qpoRO378qRY&t=1222s
https://www.youtube.com/watch?v=IvUw9um4Bv8
OpenAI의 핵심, Ilya Sutskever 인터뷰
Ilya Sutskever는 현 OpenAI의 핵심 멤버입니다. 딥러닝 혁명의 선두주자인 그를 통해 현재 우리가 어디에 와 있는지, 미래에 대해서 다시 한번 생각해봅시다.
OpenAI의 모습을 보면, 트랜스포머를 기반으로 둘다 사람이 피드백하는 RLHF 방식, 먼저 사회에 던져놓고 그 피드백과 데이터로 "완성"해가는 모습이 어떤 기업과 매우 흡사한 모습을 보이고 있습니다.
ChatGPT는 이 순간에도 프롬프트 체인을 확장해 나가고 있습니다.
변화가 점점 더 빨라지는 이 순간, 우리는 미래를 어떻게 준비해야할까요.
이 인터뷰로 다시 한 번 스스로를 점검할 수 있었으면 좋겠습니다.
인터뷰어는 The Lunar Society 팟캐스트를 진행하는 Dwarkesh patel로 UT Austin CS 출신입니다.
흥미로운 대화, 다같이 들어볼까요?
시청해주시는 한 분, 한 분께 진심으로 감사드립니다!
- The Lunar Society 팟캐스트 링크입니다 -
Apple Podcasts: https://apple.co/42H6c4D
Spotify: https://spoti.fi/3LRqOBd
https://www.youtube.com/watch?v=Yf1o0TQzry8&t=1802s
https://www.youtube.com/watch?v=SGCFeIbpGlU&t=722s
