文|傲然
编辑|杨布丁
11月18日,AI驾驶测试项目DrivingBench公布了第二轮真实车辆测试报告。研究人员让8个通用AI大模型和6个机器人(VLA或WAM)模型,分别驾驶一辆特斯拉Model 3,在停车场内挑战两条由路锥组成的路线。
从最终结果看,研究团队认为,这两种模型目前都还不是优秀的驾驶员。
Tesla Model 3 DrivingBench v2测试具体来看,在相对简单的A路线上,3个机器人模型连续5次测试全部成功,最快一分多钟就能跑完全程;在更复杂的B路线上,6个机器人模型没有一个能成功。从通用大模型的表现看,Google的Gemini 4 Carbon是唯一在两条路线上都成功过终点的通用大模型,但开车速度非常慢,完成一次测试需要26至49分钟。
DrivingBench项目由Aditya Ramabadran、Simon Mahns和Tobias Gessler三人开展。他们做测试的目的是想知道,像GPT、Gemini、Claude这样的通用AI大模型,能不能像人一样,通过观察道路情况来开车。
此次特斯拉Model 3测试已经是他们第二次实验,今年9月,他们用一辆2022款丰田卡罗拉,在美国旧金山湾区的一个空停车场做过类似实验。第一次参加测试的是4个通用大模型,包括GPT-6 Astra、Claude Fable 5.1、GPT-5.6 Sol和Grok 4.6。
报告显示,研究人员通过第三方设备(comma four)和开源辅助驾驶软件,把AI模型接入汽车控制系统。AI通过摄像头观察道路,再向汽车发送转向、加速和制动指令。整个测试过程中,司机会一直坐在车内,随时准备踩刹车。
(注:AI大模型通过星链网络和第三方设备控制特斯拉Model 3)
在今年9月公布的报告中,只有GPT-6 Astra成功跑完全程。在第一次尝试中,GPT-6 Astra完成了约一半的路线。失败之后,它重新分析了自己的驾驶过程,决定降低车速,在转弯时更积极地使用较大的转向幅度。第二次尝试后,GPT-6 Astra成功抵达终点,用时大概5分钟。
其他3个模型都没能完成路线,大多数尝试甚至没有通过第一个弯道。研究人员在报告中称,模型开车失败的一个重要原因是无法准确判断路锥之间的道路边界,前沿大模型已经发展到能够在足够低的速度下驾驶真实汽车的程度,但模型的驾驶能力和安全性仍然需要进一步研究。
第二次测试,他们决定增加难度。研究人员把丰田卡罗拉换成了一辆2021款特斯拉Model 3,与丰田相比,这辆特斯拉在测试系统下的方向盘转动速度提高了约2.5倍,能够完成更急的转弯。
在第二次测试中,研究人员设计了两条新路线。A路线长约141米,包含左转、连续右弯、发卡弯等路况;B路线只有92米,但转弯更加密集,其中一个急右转已经接近车辆在这套控制系统下的转向极限。

参加第二轮测试的AI也增加到14个。其中,8个是GPT、Gemini、Claude和Grok等通用大模型,另外6个是经过专门驾驶训练的机器人模型,包括π0.7、π0.5、FLUX 3 Action、Dream-1、英伟达GR00T N1.7和小米Robotics-1。
两组模型的区别是,通用大模型直接上车测试,没有提前进行专门的驾驶训练,6个机器人模型先接受了一轮学习和训练。研究人员先自己开着特斯拉,在4个停车场内反复练习不同的路线,录了108分钟的驾驶数据,包括摄像头拍摄的画面、汽车速度和转弯情况等。其中94分钟的数据被用于训练6个机器人模型,总行驶距离约10公里。
这些模型相当于先看了一段人类驾驶汽车的视频,学习遇到不同弯道应该如何打方向盘、控制车速,然后再自己上车考试。为了避免AI只是记住路线,研究人员特意选择了一个没有出现在训练数据中的停车场,重新布置了考试路线。
机器人模型在两条路线的成绩明显不同。
在A路线,FLUX 3 Action、π0.7和Dream-1三个模型表现最好,5次测试全部成功。6个机器人模型合计测试30次,其中19次成功抵达终点,这些成功的测试只用了83至97秒。
但换到更复杂的B路线,6个模型合计测试30次,没有一次成功抵达终点,其中29次在第三个弯道前就卡住了。研究人员发现,很多模型的问题出在连续转弯上。例如,车辆刚刚完成左转,接下来应该立刻右转,但有些模型仍在继续向左打方向。

通用AI大模型的成绩也出现了明显分化。
Gemini 4 Carbon在A路线的3轮测试中全部完成,在B路线的3轮测试中完成了2轮,成为唯一在两条路线上都成功抵达过终点的通用大模型。此前开丰田卡罗拉完成测试的GPT-6 Astra,这次没能在任何一轮测试中到达终点。
不过,Gemini虽然能够完成路线,速度非常慢。报告显示,它5次成功完成路线,分别需要26至49分钟,平均大约每两分半钟才发送一次驾驶指令。
造成这种差异的一个原因,是两种AI开车的方式不同。通用大模型需要先观察道路,判断应该往哪里走,再发出驾驶指令。机器人模型能够根据摄像头画面,连续生成车辆的转向和速度指令,反应速度更快。
研究人员还安排了一名人类驾驶员参加测试,但要求他和通用大模型一样,只能通过软件工具控制汽车,不能正常操作方向盘和踏板。最终,人类驾驶员完成了A路线,但没能完成B路线。
研究团队提醒,此次测试的次数有限,两种AI模型的测试方式也存在差异,不能简单根据排名判断模型的全部驾驶能力。
在报告最后,研究人员总结,机器人模型需要学会把已有的驾驶经验应用到更多陌生道路中,通用大模型需要提高反应速度。他们认为,未来一种值得探索的方向,是让反应迅速的模型负责控制车辆,同时由推理能力更强的模型负责判断道路情况、发现驾驶错误。







