4月23日，微软推出了其轻量级人工智能模型Phi-3 Mini ，这是该公司计划发布的三个小型模型中的第一个。
Phi-3 Mini测量了38亿个参数，并在相对于GPT-4等大型语言模型更小的数据集上进行训练。它现已在Azure、Hugging Face和Ollama上提供。微软计划发布Phi-3 Small（7B参数）和Phi-3 Medium（14B参数）。参数是指模型可以理解多少复杂指令。
该公司于12月发布了Phi-2，其性能与Llama 2等更大的模型在同一水准。微软表示，Phi-3的性能比之前的版本更好，并且可以与比它大10倍的模型的响应速度媲美。
微软Azure AI 平台公司副总裁Eric Boyd告诉The Verge，Phi-3 Mini 与 GPT-3.5 等LLM一样强大，“除了外形更小”。
与大型人工智能模型相比，小型人工智能模型通常运行成本更低，并且在手机和笔记本电脑等个人设备上表现更好。The Information今年早些时候报道称，微软正在组建一个专门专注于轻量级人工智能模型的团队。与Phi一起，该公司还构建了Orca-Math，一个专注于解决数学问题的模型。
微软的竞争对手也有自己的小型人工智能模型，其中大多数针对更简单的任务，例如文档摘要或编码辅助。Google的 Gemma 2B 和 7B非常适合简单的聊天机器人和语言相关的工作。Anthropic 的 Claude 3 Haiku可以阅读带有图表的密集研究论文并快速总结它们，而Meta 最近发布的Llama 38B可以用于一些聊天机器人和编码辅助。
Boyd表示，开发人员通过“课程”对Phi-3进行了培训。他们的灵感来自于孩子们如何从睡前故事、单词更简单的书籍以及谈论更大主题的句子结构中学习。
“市面上没有足够的儿童读物，因此我们列出了3,000多个单词的清单，并要求法学硕士制作‘儿童读物’来教授 Phi，”Boyd说。
他补充说，Phi-3只是建立在之前迭代所学到的知识之上。Phi-1专注于编码，Phi-2开始学习推理，而 Phi-3更擅长编码和推理。虽然Phi-3系列模型了解一些常识，但它无法在广度上击败GPT-4或其他LLM。
Boyd表示，公司经常发现像Phi-3这样的较小模型更适合他们的定制应用程序，因为对于许多公司来说，他们的内部数据集无论如何都会较小。由于这些模型使用较少的计算能力，因此它们通常更便宜。
来源：元透社
