Mixtral of Experts
https://arxiv.org/abs/2401.04088
간단하게 표현하면 x개의 모델이 존재하며 앞에 FFN을 추가해서 그중 높은 점수 2개를 결합하여 사용하는 방식
Routing에 대한 인공지능을 추가한 것과 동일
토큰이 들어오면 이 토큰이 어떤 인공지능을 사용해야되는지 길을 알려주는 것과 같음
You May Also Enjoy
Mamba-3: 지수-사다리꼴 이산화, 복소 SSM, MIMO를 통한 표현력 높은 상태 공간 모델
16 minute read
논문 링크: arXiv 2603.15569 저자: Tri Dao, Albert Gu 소속: Together AI / Carnegie Mellon University
MM-Zero: 데이터 없이 스스로 진화하는 멀티모델 비전-언어 모델
19 minute read
논문 링크: arXiv 2603.09206 저자: Zongxia Li, Hongyang Du, Chengsong Huang, Xiyang Wu, Lantao Yu, Yicheng He, Jing Xie, Xiaomin Wu, Zhichao Liu, Jiarui Zhang...
Less is Enough: LLM의 특성 공간에서 다양한 데이터 합성하기
9 minute read
https://arxiv.org/abs/2602.10388
OPUS: LLM 사전 학습에서 매 반복마다 효율적이고 원칙에 입각한 데이터 선택을 향하여
20 minute read
https://arxiv.org/abs/2602.05400
Comments