sLLM

Creator

Creator

Seonglae Cho

Created

Created

2024 Mar 31 8:42

Editor

Editor

Seonglae Cho

Edited

Edited

2024 Sep 17 17:11

Refs

Refs

On-device에서 가장 큰 issue는 대역폭과 메모리

Collaboration with LLM

Complementary for LLM

On-device AI

https://arxiv.org/pdf/2409.06857

TensorFlow KR | On-device AI에서나 데이터센터 AI에서나 inference를 위해 풀어야 하는 문제...

On-device AI에서나 데이터센터 AI에서나 inference를 위해 풀어야 하는 문제 자체가 바뀌지는 않습니다만 아무래도 On-device AI에서는 더 열악한 환경에서 풀어야 한다는 점을 무시할 수 없습니다. 예를 들어서 최신 스마트폰은 10~16GB 정도의 메인 메모리를 들고 나오는데, 그 비싼 HBM를 팍팍 달고 있는 AI 데이터센터향...

TensorFlow KR | On-device AI에서나 데이터센터 AI에서나 inference를 위해 풀어야 하는 문제...

https://www.facebook.com/groups/TensorFlowKR/permalink/2252038391803873/

TensorFlow KR | On-device AI에서나 데이터센터 AI에서나 inference를 위해 풀어야 하는 문제...

Recommendations

///////