OpenAI 透露 GPT-5 架构细节：MoE 规模达 10T 参数

OpenAI 在一场闭门技术分享会上首次披露了 GPT-5 的详细架构信息，其中最引人关注的是其庞大的 10T 参数规模。

据参会者透露，GPT-5 采用 MoE（混合专家）架构，总参数达到 10 万亿级别，但每次推理时仅激活约 500B 参数。这一设计在保证模型性能和深度的同时，有效控制了推理成本——据估算，GPT-5 的 API 调用成本仅为 GPT-4 的约三分之一。

OpenAI 表示，GPT-5 在多个维度上都实现了质的飞跃：长文本理解能力从 GPT-4 的 128K token 提升至 1M token，可以直接处理整部《三体》三部曲级别的文本。多模态方面，模型原生支持图像、音频和视频输入，并能在这些模态之间进行跨模态推理。

另一个重要升级是推理能力的显著增强。GPT-5 引入了链式思维深度扩展机制，在处理复杂数学、科学和编程问题时，能够自动分配更多计算资源进行深入推理。内部测试显示，在 FrontierMath 基准上，GPT-5 的准确率比 GPT-4 提升了近 40%。

OpenAI 计划在 2025 年下半年分阶段推送 GPT-5，首先面向开发者 API，随后逐步推广到消费级产品。具体定价和可用性细节将在正式发布时公布。