理想Mind GPT
去年年底,理想发布了最新的OTA 5.0版本,率先为Max车型升级了AD MAX 3.0智能驾驶。然而,这一次OTA还包括了最新的智能空间SS 3.0,为Max、Pro和Air车型正式引入了Mind GPT这一智能座舱多模态认知大模型。
理想从零构建了Mind GPT的原始基座模型,并采用了自研的TaskFormer神经网络架构,Mind GPT使得理想语音助手“理想同学”获得了听感和自行能力全面升级,并基于其重点场景,定制了111个领域、1000种以上的专属能力,比如理解语义、多语种交流、模糊感知和行程安排规划等。
从中文大模型排行榜C-Eval网站上可以看到,12月4日发布的Mind GPT在当时斩获了闭源模型第一的成绩。尽管随后被荣耀、海思和vivo的大模型超过,但Mind GPT目前依然以89.7的成绩高居第四的位置。
可以看出,理想Mind GPT对于硬件的要求并不算高,从理想分享的Mind GPT推理引擎来看,其推理负载被分配给了云端GPT和端侧的NPU,从而降低智能座舱的算力要求,使得更多老车型也可以享受到大模型的完整体验。
蔚来NOMI GPT
蔚来宣称NOMI GPT是业内首家纯端侧部署的多模态感知大模型,新的NOMI借由这一大模型,可以在无需联网的前提下识别数千种物体,且做到快速响应,还可以根据非颜色类磁珠,完成氛围灯的颜色组合。由于是纯端侧处理,NOMI GPT做到了车主隐私数据不出车,提高了信息安全性。
之所以能做到纯端侧,自然离不开计算硬件的支撑。2024款蔚来全系车型均将采用全新的中央计算平台ADAM,在智舱上搭载了高通最新的骁龙8295智能座舱芯片。在5nm工艺和架构优化下,8295相较上一代8155在性能上有了巨大的提升,除了通用计算与图形处理的CPU和GPU算力分别翻了2倍和3倍外,用于AI计算的NPU算力也提升了8倍,达到了30TOPS。
除此之外,蔚来的ADAM通过系统级创新实现了舱驾融合,不仅可以拓展算力,更可以实现跨域算力共享。如此一来,类似NOMI GPT这样的多模大模型端侧部署,就可以调用来自智驾芯片Orin X的算力,从而提高CPU、GPU和NPU的使用效率。