原始链接在: GPT-4o mini 发布:OpenAI 最便宜的小型模型,比 GPT-3.5 便宜,比 GPT-4 优秀 - 小众软件
OpenAI 昨天发布了最新的「最具成本效益的小型型号」GPT-4o mini,它在 MMLU 上得分 82%,目前优于 GPT-4,比 GPT-3.5 Turbo 便宜 60% 以上。@Appinn
以上两组数据来自 OpenAI 昨天的博客文章《GPT-4o mini: advancing cost-efficient intelligence》。
性能
其他一些数据还有:
- GPT-4o mini 在 MMLU 上得分 82%,目前优于 GPT-4
- 比 GPT-3.5 Turbo 便宜 60% 以上
- 在 API 中支持文本和视觉(接受文本或图像输入并输出文本)
- 128K 上下文,最多16K输出
- 与 GPT-4o 共享改进标记器,处理非英语文本更经济
- 截至 2023 年 10 月的知识
未来还将支持文本、图像、视频和音频输入和输出。
API 价格
开发者为每 100 万个输入代币支付 15 美分,为每 100 万个输出代币支付 60 美分(大约相当于一本标准书的 2500 页)。
喜闻乐见的对比环境
GPT-4o mini 在文本智能和多模态推理方面的学术基准上超越了 GPT-3.5 Turbo 和其他小型模型,并支持与 GPT-4o 相同范围的语言。它还在函数调用方面表现出强大的性能,使开发人员能够构建获取数据或与外部系统执行操作的应用程序,并且与 GPT-3.5 Turbo 相比,提高了长上下文性能。
推理任务:
GPT-4o mini 在涉及文本和视觉的推理任务上优于其他小型模型,在文本智能和推理基准 MMLU 上得分为 82.0%,而 Gemini Flash 为 77.9%,Claude Haiku 为 73.8%。
数学和编码能力:
GPT-4o mini 在数学推理和编码任务方面表现出色,优于市场上以前的小型模型。在 MGSM 上,测量数学推理,GPT-4o mini 得分为 87.0%,而 Gemini Flash 为 75.5%,Claude Haiku 为 71.7%。
GPT-4o mini 在衡量编码性能的 HumanEval 上得分为 87.2%,而 Gemini Flash 的得分为 71.5%,Claude Haiku 的得分为 75.9%。
多模态推理:
GPT-4o mini 在多模态推理评估 MMMU 上也表现出强劲的性能,得分为 59.4%,而 Gemini Flash 为 56.1%,Claude Haiku 为 50.2%。
目前已可以使用
目前已经可以在 API 中使用 gpt-4o-mini
模型名称, GPT-4o mini 比 GPT-3.5 Turbo 更便宜、功能更强大。
原文:https://www.appinn.com/gpt-4o-mini/