微软塑造 13 亿参数小型 LLM AI模型，效果胜于千亿参数 GPT-3.5
发布时间：2023-06-27 12:48:27 所属栏目：外闻 来源：
导读：AI模型盲堆量实际上并不见得更好,更多的还是取决于训练数据的品质微软最近发布了一个13亿个参数的语言模型phi-1,采用“教科书等级”的高品质资料集训练而成，据称“实际效果胜于千亿参数的 GPT 3.5&r
|
AI模型盲堆量实际上并不见得更好,更多的还是取决于训练数据的品质微软最近发布了一个13亿个参数的语言模型phi-1,采用“教科书等级”的高品质资料集训练而成，据称“实际效果胜于千亿参数的 GPT 3.5”。 注意到，该模型以 Transformer 架构为基础，微软团队使用了包括来自网络的“教科书等级”数据和以 GPT-3.5 经过处理的“逻辑严密的内容”，以及8 个英伟达 A100 GPU，在短短 4 天内完成训练。 微软团队表示，比起简单地增加数字货币模型的运算参数量，通过提高模型的训练得出的数据集质量，也许更高层次能强化模型的准确率和计算效率，于是，他们利用高质量数据训练出了 phi-1 模型。在测试中，phi-1 的分数达到 50.6%，比起 1750 亿参数的 GPT-3.5（47%）还要好。 微软表示，phi-1 接下来会在 HuggingFace 中开源，而这不是微软第一次开发小型 LLM，此前，他们打造一款 130 亿参数的 Orca，使用了 GPT-4 合成的数据训练而成，表现也同样比 ChatGPT 更好。也同样比chatgpt更好。这款神经网络的基础是chatgpt，它可以通过多种方式学习，包括神经网络本身的结构，以及它的输入输出。 （编辑：聊城站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
站长推荐
