品玩8月23日讯,据英伟达官方消息,英伟达近日发布 Mistral-NeMo-Minitron 8B 小语言 AI 模型,具备精度高、计算效率高等优点,可在 GPU 加速的数据中心、云和工作站上运行模型。
英伟达表示通过宽度剪枝(width-pruning)Mistral NeMo 12B,并知识蒸馏(knowledge distillation)轻度重新训练后获得 Mistral-NeMo-Minitron 8B,相关成果发表在《Compact Language Models via Pruning and Knowledge Distillation》论文中。
就其规模而言,Mistral-NeMo-Minitron 8B 在语言模型的九项流行基准测试中遥遥领先。这些基准涵盖了各种任务,包括语言理解、常识推理、数学推理、总结、编码和生成真实答案的能力。