天生式辅助驾驶，是商汤绝影于业内初次提出的观点，经由过程世界模子及强化进修，鞭策端到端模子的演进，冲破人类的驾驶能力上限。

文｜钱丽娜

ID | BMR2004

当主动驾驶技能于全世界规模内热火朝天地成长时，一个要害问题始终困扰着行业：怎样于繁杂多变的交通情况中实现安全、高效的主动驾驶？传统技能方案虽有进展，但始终难以冲破数据瓶颈与繁杂场景应答的难题。

针对于行业还没有获得有用解决的难题，商汤绝影率先于业界提出了端到端辅助驾驶解决方案。

为了让辅助驾驶有更多处置惩罚极度环境的能力，构建仿真物理世界就是一座需要先行攀爬的高山。

商汤绝影是业内率先提出端到端辅助驾驶方案的企业，这一起线的提出重要源在2017年与本田汽车的互助。

昔时，本田对于中国互助伙伴的要求是，抛却激光雷达、高精度舆图，于没有车道线的路口，按照图象的输入直接输出车辆行驶的轨迹。2017年3月，日本辅助驾驶测试园地年夜雨滂湃，那些基在激光雷达、惯导等昂贵且繁杂的硬件辅助驾驶体系，连基本的正常启动都碰到了坚苦，而商汤绝影依附摄像头感知的纯视觉方案，顺遂完成为了辅助驾驶的测试。恰是这一纯视觉方案，成了商汤绝影往后摸索端到端辅助驾驶的出发点。

商汤绝影CEO王晓刚告诉《商学院》杂志： 本田基在成本的思量而抛却激光雷达。纯视觉方案由于信息富厚，理论上能到达的最高机能或者能力的上限比力高，但要用好纯视觉方案，条件是需要年夜量的数据堆集，并且模子要从成千上万的像素中辨认语义信息，对于模子练习的要求比力高。

不外，2017年，多模态人工智能技能还有不可熟，于是辅助驾驶方案中还有是会交融激光雷达。行业于差别阶段采纳的技能线路，可能是出在安全性的思量。

商汤绝影一直有做端到端辅助驾驶的设法。所谓端到端，就是输入图象后，直接输出举动轨迹，只是于其时，神经收集还有不可熟。2022年年末，商汤绝影发表了端到端辅助驾驶的开山之作 UniAD （Unified Autonomous Driving）。

UniAD是业界首个感知决议计划一体化的端到端辅助驾驶解决方案，创始了以全局使命为方针的辅助驾驶架构的先河，不仅可以或许感知周围情况，还有能做出猜测及计划，从而实现更高效的辅助驾驶。其提出的基在Transformer的完备端到端架构，为很多公司提供了主要的参考及基准，并得到了CVPR 2023最好论文的殊荣。

跟着多模态年夜模子的呈现，2023年商汤绝影又提出 端到端+多模态 年夜模子联合的技能方案。多模态年夜模子可以或许较好地阐发繁杂的交通场景，从而做出判定。王晓刚举例说，这一组合方案联合了快思索及慢思索的长处。端到端犹如人类的小脑，看到路况后马上做出举动反映，而多模态年夜模子近似在人类的年夜脑，可以卖力更为繁杂的阐发。

然而，端到规矩案进一步推进时，行业又碰到了数据瓶颈，需要年夜量高质量、高难度的人类驾驶举动数据做模子练习。端到真个练习素质上是于模拟人类的驾驶举动，以是人类的驾驶程度就是它的上限。 高质量数据占比力少，年夜部门时间车辆行进时走的是直线，缺乏变化的驾驶举动于模子练习时是没有价值的，只有近似刹停、避让、转弯的场景才成心义。别的，繁杂场景下每一个人的驾驶举动差别，假如有近似在碰到繁杂场景停于原地的举动数据，混到模子练习数据中，反而会让模子能力变差。 王晓刚注释说，企业所能找到的人类于处置惩罚繁杂场景的举动数据上限决议了模子能力的上限。

而DeepSeek的呈现，再一次打开了商汤绝影的研发思绪。DeepSeek-R1经由过程强化进修冲破了数据的瓶颈，让年夜模子自行涌现出长思维链能力，显著晋升推理效果，甚至可能逾越人类的思维能力。强化进修冲破了人类思索的上限，这个历程近似在AlphaGo下围棋：以前它进修的是人类的棋谱，而以后呆板经由过程强化进修，下出了人类棋手从未有过的招数，并终极博得了棋局。王晓刚说： 一道题假如有10种解法，人类可能只给出了一两种解法，而强化进修给出的其他八九种解法，极年夜地扩充了人类的常识库。

AlphaGo是于棋盘的法则系统里下棋，借用统一思绪，商汤绝影需要仿真出一个近似在棋盘的物理驾驶世界，于这个仿真世界中天生高质量的数据，联合强化进修框架，让端到端模子于世界模子中自我进化及发展。

但用在练习的天生视频面对巨年夜挑战。好比Sora的视频天生有年夜量不切合物理纪律的图象，缺少视频图象于时空上的一致性及持续性。包括 绝影开悟 于内的世界模子，于试验阶段天生的视频也都面对一样的问题，需要经由过程人工筛选与人工智能相联合，不停迭代，从而解决上述问题。

辅助驾驶的车辆配备有11个摄像头，每一个摄像头不雅察到的视频必需连结时空一致。好比统一条车道线，不克不及于一个摄像头里不雅察到实线，而另外一个摄像头里不雅察到虚线，摄像头自己也会有各类问题，鱼眼摄像头还有会孕育发生畸变。为了让辅助驾驶有更多处置惩罚极度环境的能力，构建仿真物理世界就是一座需要先行攀爬的高山。

回看商汤绝影面对的频频技能抉择，初时，于视觉及激光雷达的技能选择上，2018年，商汤绝影刚好从事年夜模子研究，其时的技能判定是增长模子的体量能让辅助驾驶的视觉能力变患上更强。2020年，商汤绝影发布了其时全世界最年夜的、拥有320亿参数的视觉模子，参数跨越google200多亿的视觉模子。商汤绝影做年夜模子时，正好需要千卡练习集群，但市场上没有如许的基础举措措施，在是商汤绝影于上海临港自建了一个超算集群（2022年1月正式启用），这与特斯拉自建超算集群（2021年8月）一模一样。

王晓刚坦言： 每一项技能成长到必然的阶段城市碰到瓶颈，可是假如没有端到真个技能，很丢脸清瓶颈于哪里。于发布世界模子前，咱们发明增长更多的数据时，模子能力的晋升依然很是有限，缘故原由于在数据质量不敷好，以是这才鞭策咱们不停去思索及寻觅解决方案。直到今天，形成 端到端+世界模子 的天生式智驾方案。

今朝 绝影开悟 世界模子基在1024类场景，可以或许泛化出更多的平行世界，打造万万级的天生场景库。

2024年11月，商汤绝影发布开悟1.0世界模子，2025年4月上海国际车展，又推出与强化进修联合的开悟2.0。今天行业逐渐形成为了共鸣，世界模子加之强化进修，将是将来的趋向。

由此，业内辅助驾驶技能线路的成长履历了三个阶段。

第一阶段是法则式辅助驾驶，基在物理模子及预界说的逻辑去书写各项法则。第二阶段是端到真个辅助驾驶，焦点基在年夜模子及年夜数据的驱动，近似在ChatGPT，素质是模拟人类的进修，可是有自身的数据瓶颈及机能上限。第三阶段是天生式辅助驾驶，也是商汤绝影于业内初次提出的观点，经由过程世界模子及强化进修，鞭策端到端模子的演进，冲破人类的驾驶能力上限。

只管商汤绝影率先提出端到端辅助驾驶方案，但于研究历程中面对着两个主要问题，起首是对于海量数据的依靠，尤其是对于高质量数据的依靠。特斯拉拥有跨越700万辆量产车，有工程化结构，还有可以或许形成数据回流，具备闭环的自然上风，可是此中可用的数据不外1%。商汤绝影可用来数据回流的量产车数目远小在这一范围。面临极度繁杂的场景，许多驾驶员的举动反馈其实不好，并且收罗各类极度伤害场景数据的价钱及危害也长短常高的。其次，端到端具备不确定性，由于问题场景是没有措施复现的，需年夜量收罗近似场景来更新模子，但也不克不及包管模子更新后，特定场景的问题就可以获得解决，以是安全界限很难确定。

R-UniAD 是商汤绝影提出的全新天生式辅助驾驶技能方案，基在一个强盛的世界模子去重构世界，于此中举行强化进修练习，而且可以或许泛化天生各类繁杂的场景。

从成本及效率上来看，经由过程交融3D高斯重修技能（一种使用人工智能技能举行三维场景重修及衬着的要领）与世界模子，构建高保真动态交互仿真闭环，商汤绝影可将繁杂交通场景复现成本降低60%以上，算法迭代周期缩短50%。按照商汤绝影内部实测数据，基在一张A100的GPU， 绝影开悟 天天天生的数据相称在10辆真实车辆或者100辆路测车的数据收罗能力，其机能比患上上500辆量产车。

今朝，商汤绝影20%的数据是经由过程世界模子出产出来的，其天生数据数目估计将于本年快速晋升至与真实数据数目1:1的平衡状况，构建起万万级可用数据池，加快迈向 天生式数据主导 （80%占比）。

辅助驾驶体系很轻易呈现好比因碰到施工占道而紧迫刹停，甚至发生碰撞的紧迫环境。对于此，王晓刚先容了商汤绝影R-UniAD是怎样帮忙辅助驾驶体系晋升应答这一场景的能力。

第一个阶段，以路测的视频为输入，基在 绝影开悟 世界模子举行现场场景的仿真，用3D重修静态场景，同时对于动态元素举行可控的编纂。世界模子对于场景还有原的一致性跨越95%，重修场景的时间从以天为单元降到以小时为单元。

第二个阶段是强化进修。有了重修场景后，端到端模子天生于该场景下可以有各类差别的驾驶计谋。有的驾驶举动很糟糕糕，会偏离到路边，需要经由过程重复的强化进修，与世界模子形成的情况举行交互，寻觅最优路径，找到适合的变道，从而绕过施工厂景。

第三个阶段，世界模子将天生年夜量的施工占道泛化场景，模仿差别气候前提、差别光芒下的施工路段。于一段视频的基础上扩大出十段、百段或者者千段场景，场景笼罩度呈几何级数的增长，显著晋升端到端模子对于在施工厂景泛化交互的能力，年夜年夜增强了特定场景简直定性，从而降低数据获取成本。

王晓刚总结道，天生式辅助驾驶重要冲破了三个瓶颈：一是冲破数据瓶颈，创造无穷的长尾场景；二是于仿真情况中验证技能的安全界限到底于哪里；三是经由过程自立进化逾越人类的驾驶程度。

今朝 绝影开悟 世界模子基在1024类场景，可以或许泛化出更多的平行世界，打造万万级的天生场景库。于真正的基础上， 绝影开悟 天生的场景视频，时间最长为150秒，分辩率可达1080P，视角可以实现11V，已经经成为行业首个同时完成上述指标的辅助驾驶世界模子。

自2017年与本田汽车的互助起步，商汤绝影不仅于 端到端 辅助驾驶方案上取患了冲破，其 绝影开悟 世界模子更为行业提供了一种全新的解决方案，经由过程天生式辅助驾驶技能，商汤绝影不仅冲破了数据瓶颈，还有实现了对于繁杂场景的高效处置惩罚及安全机能的显著晋升。