混合专家模型 (MoE)

一种架构：每次只对少数专门的“专家”子网络激活，在不成比例增加算力的情况下提升模型容量。