新闻分析｜全球科研团队竞逐低成本AI模型研发新范式

admin

[color=rgba(0, 0, 0, 0.95)]新华社北京2月23日电 新闻分析｜全球科研团队竞逐低成本AI模型研发新范式
[color=rgba(0, 0, 0, 0.95)]新华社记者彭茜
[color=rgba(0, 0, 0, 0.95)]美国斯坦福大学等机构研究团队近日宣布，在基座大模型基础上，仅耗费数十美元就开发出相对成熟的推理模型。尽管其整体性能尚无法比肩美国开放人工智能研究中心（OpenAI）开发的o1、中国深度求索公司的DeepSeek-R1等，但此类尝试意味着企业可以较低成本研发出适合自身的AI应用，AI普惠性有望增强。同时，其所应用的“测试时扩展”技术或代表一条更可持续的AI研发路径。

[color=rgba(0, 0, 0, 0.95)]低成本玩转高级推理

[color=rgba(0, 0, 0, 0.95)]美国斯坦福大学和华盛顿大学研究团队近日宣布研发出名为s1的模型，在衡量数学和编码能力的测试中，可媲美o1和DeepSeek-R1等。研究团队称，训练租用所需的计算资源等成本只需约几十美元。
[color=rgba(0, 0, 0, 0.95)]s1的核心创新在于采用了“知识蒸馏”技术和“预算强制”方法。“知识蒸馏”好比把别人酿好的酒进一步提纯。该模型训练数据是基于谷歌Gemini Thinking Experimental模型“蒸馏”出的仅有1000个样本的小型数据集。
9 X8 i# ?. A- `3 D: [* v" _% ^; v" J$ s[color=rgba(0, 0, 0, 0.95)]“预算强制”则使用了AI模型训练新方法——“测试时扩展”的实现方式。“测试时扩展”又称“深度思考”，核心是在模型测试阶段，通过调整计算资源分配，使模型更深入思考问题，提高推理能力和准确性。
9 V. ~8 P) Q( [0 d/ U+ M[color=rgba(0, 0, 0, 0.95)]“预算强制”通过强制提前结束或延长模型的思考过程，来影响模型的推理深度和最终答案。s1对阿里云的通义千问开源模型进行微调，通过“预算强制”控制训练后的模型计算量，使用16个英伟达H100 GPU仅进行26分钟训练便达成目标。
" L: G5 L" t: M# v6 g[color=rgba(0, 0, 0, 0.95)]美国加利福尼亚大学伯克利分校研究团队最近也开发出一款名为TinyZero的精简AI模型，称复刻了DeepSeek-R1 Zero在倒计时和乘法任务中的表现。该模型通过强化学习，实现了部分相当于30亿模型参数的大语言模型的自我思维验证和搜索能力。团队称项目训练成本不到30美元。

[color=rgba(0, 0, 0, 0.95)]“二次创造”增强AI普惠性
- q% q: V  d' i6 t0 V  L
[color=rgba(0, 0, 0, 0.95)]清华大学计算机系长聘副教授刘知远接受记者采访时说，部分海外研究团队使用DeepSeek-R1、o1等高性能推理大模型来构建、筛选高质量长思维链数据集，再用这些数据集微调模型，可低成本快速获得高阶推理能力。
* M( a& W5 o( |2 D& \( k[color=rgba(0, 0, 0, 0.95)]相关专家认为，这是AI研发的有益尝试，以“二次创造”方式构建模型增强了AI普惠性。但有三点值得注意：
[color=rgba(0, 0, 0, 0.95)]首先，所谓“几十美元的低成本”，并未纳入开发基座大模型的高昂成本。这就好比盖房子，只算了最后装修的钱，却没算买地、打地基的钱。AI智库“快思慢想研究院”院长田丰告诉记者，几十美元成本只是最后一个环节的算力成本，并未计算基座模型的预训练成本、数据采集加工成本。
0 I# Q5 ]) m3 `- _; s3 f[color=rgba(0, 0, 0, 0.95)]其次，“二次创造”构建的模型，整体性能尚无法比肩成熟大模型。TinyZero仅在简单数学任务、编程及数学益智游戏等特定任务中有良好表现，但无法适用于更复杂、多样化的任务场景。而s1模型也只能通过精心挑选的训练数据，在特定测试集上超过早期版本o1 preview，而远未超过o1正式版或DeepSeek-R1。
[color=rgba(0, 0, 0, 0.95)]最后，开发性能更优越的大模型，仍需强化学习技术。刘知远说，就推动大模型能力边界而言，“知识蒸馏”技术意义不大，未来仍需探索大规模强化学习技术，以持续激发大模型在思考、反思、探索等方面的能力。
1 X/ T8 C' I9 y# l6 k7 e
7 e9 ~8 q% ^$ U4 i! r7 k1 ]( {# `) u[color=rgba(0, 0, 0, 0.95)]AI模型未来如何进化

) t  y/ Z; Y7 T; P- |5 f- A- T! F[color=rgba(0, 0, 0, 0.95)]在2025年美国消费电子展上，美国英伟达公司高管为AI的进化勾画了一条路线图：以智能水平为纵轴、以计算量为横轴，衡量AI模型的“规模定律”呈现从“预训练扩展”、到“训练后扩展”，再到“测试时扩展”的演进。
[color=rgba(0, 0, 0, 0.95)]“预训练扩展”堪称“大力出奇迹”——训练数据越多、模型规模越大、投入算力越多，最终得到AI模型的能力就越强。目标是构建一个通用语言模型，以GPT早期模型为代表。而“训练后扩展”涉及强化学习和人类反馈等技术，是预训练模型的“进化”，优化其在特定领域的任务表现。
& Z; t. W* r# R[color=rgba(0, 0, 0, 0.95)]随着“预训练扩展”和“训练后扩展”边际收益逐渐递减，“测试时扩展”技术兴起。田丰说，“测试时扩展”的核心在于将焦点从训练阶段转移到推理阶段，通过动态控制推理过程中的计算量（如思考步长、迭代次数）来优化结果。这一方法不仅降低了对预训练数据的依赖，还显著提升了模型潜力。
[color=rgba(0, 0, 0, 0.95)]三者在资源分配和应用场景上各有千秋。预训练像是让AI模型去学校学习基础知识，而后训练则是让模型掌握特定工作技能，如医疗、法律等专业领域。“测试时扩展”则赋予了模型更强推理能力。
[color=rgba(0, 0, 0, 0.95)]AI模型的迭代还存在类似摩尔定律的现象，即能力密度随时间呈指数级增强。刘知远说，2023年以来，大模型能力密度大约每100天翻一番，即每过100天，只需要一半算力和参数就能实现相同能力。未来应继续推进计算系统智能化，不断追求更高能力密度，以更低成本，实现大模型高效发展。

1 [, d% K5 f% q4 E4 ~来源：https://view.inews.qq.com/k/20250224A0527S00
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！