Seonglae ChoBrain Floating Point
Although the accuracy of bf16 is lower than the 32-bit floating-point format, it is useful for model training because it requires less memory.
1비트의 부호 비트, 8비트의 지수 비트, 그리고 7비트의 가수 비트
float16에 비해 더 넓은 범위의 수를 표현
가수 부분이 작아 정밀도는 떨어질 수 있다
딥러닝 훈련과 추론에 효과적이라 주로 사용