Mixture of Expert

[論文介紹] Branch-Train-MiX: Mixing Expert LLMs into a Mixture-of-Experts LLM

來自 Meta FAIR 的 BTX：更有效率的訓練 LLM 精通各項領域

Apr 24．15 min read．論文介紹

[論文介紹] Sparse Upcycling

學習如何將 Dense Model 轉化為 Sparse MoE

Apr 10．8 min read．論文介紹