LSH Attention

Creator

Creator

Seonglae Cho

Created

Created

2024 Mar 2 7:10

Editor

Editor

Seonglae Cho

Edited

Edited

2024 Apr 28 8:58

Refs

Refs

Locality-sensitive hashing

Find high attention pair using locality-sensitive hashing (LSH)

까운 데이터끼리는 가까운 Hash값을 갖도록 구성

꼼꼼하고 이해하기 쉬운 Reformer 리뷰

Review of Reformer: The Efficient Transformer

꼼꼼하고 이해하기 쉬운 Reformer 리뷰

https://tech.scatterlab.co.kr/reformer-review/

꼼꼼하고 이해하기 쉬운 Reformer 리뷰

Recommendations

//////////