百度开源 2800 亿参数 ERNIE 5.5 Flash Base 基座模型

百度发布开源基座模型 ERNIE-5.5-Flash-Base，刻意不做微调和后训练，由开发者自行决定后续方向，后续将推出后训练版本。该模型采用 MoE 架构，总参数 2800 亿、每次输入激活 140 亿，预训练使用 33.5 万亿 token，训练上下文最高 128,000 token，并设计为在微调和推理时支持最高 100 万 token 上下文。