M2Monarch 매트릭스를 사용하여 시퀀스와 모델 차원에서의 혼합 작업을 수행합니다. 이는 전통적인 어텐션 메커니즘을 대체Monarch matrices are a sub-quadratic primitive (you can compute them in that are also hardware-efficient and expressiveMonarch Mixer NotionMonarch MatrixSequence MixerDimension Mixer Long-Context Retrieval Models with Monarch Mixerhttps://hazyresearch.stanford.edu/blog/2024-01-11-m2-bert-retrievalarxiv.orghttps://arxiv.org/pdf/2310.12109.pdf
Alan Jo
