自动驾驶感知层：大模型提升传感硬件的复杂度和精度

欲了解更多中国汽车零部件行业的未来发展前景，可以点击查看中研普华产业院研究报告《2023-2027年中国汽车零部件行业市场深度全景调研及投资前景分析报告》。

大模型的应用有望降低自动驾驶传感器硬件成本，加速自动驾驶普及。 自动驾驶传感器主要包括摄像头、超声波雷达、毫米波雷达、激光雷达、GPS 等。超声波雷达在 0.1-3 米间精度较高，但易受天气和车速影响，主要应用于智能泊车功能;摄像头是实现众多预警、 识别类高级辅助驾驶功能的基础;毫米波雷达使用波长为 1-10 mm 的电磁波，具有较强的穿透性， 可全天候工作，不受极端天气和夜晚影响，测距可达 200 m，但是分辨率有限，无法清晰辨别较 小的物体。激光雷达精度高(角/速度/距离分辨率)，响应速度快，最远的探测距离高达500米， 但目前成本高，且抗干扰能力弱。

目前，传感器路线尚无定论，主流自动驾驶厂商主要采取三种： 纯视觉方案：以特斯拉为代表。使用多颗摄像头为传感器，采用 Transformer+BEV 算法或 Occupancy 算法，成本较低，更接近人类驾驶;但较易受环境和天气影响，需要路外数据补充缺 乏的长尾场景。 视觉+毫米波雷达方案：毫米波雷达的全天候识别能力可提升自动驾驶系统在极端天气和幽暗环 境下的安全性。值得注意的是，根据太平洋汽车等平台，特斯拉最新自动驾驶系统 HW 4.0 可能 在车头重新搭载了 1 颗前向 4D 毫米波雷达。 视觉+毫米波雷达+激光雷达方案：是短期内实现高等级自动驾驶的关键。根据小鹏汽车、哪吒汽 车、智目科技、辰韬资本等公司发言人在第十届全球新能源汽车大会(GNEV11)上的讨论，短 期内(1-3 年)激光雷达对自动驾驶都是必要的，可以加快推出自动驾驶系统的时间，并提高安 全性。

大模型的应用有望降低自动驾驶传感器硬件成本，降低自动驾驶普及门槛。根据毫末智行分析， 自动驾驶 1.0 时期为硬件主导，通过增加硬件投入增强感知能力;2.0 时期为软件驱动，基于规则 的小模型逐渐应用到自动驾驶系统;而数据驱动的 3.0 时代已经开启，通过数据驱动算法模型快 速迭代，可减少对传感器硬件数量的依赖。例如华为 2023 年 4 月发布的最新自动驾驶 ADS2.0 系 统，较 ADS1.0 激光雷达减少 2 个，毫米波雷达减少 3 个，摄像头数量减少 2 个，但依靠 Transformer+BEV 算法的提升，自动驾驶功能增强，新增了城区车道巡航辅助增强和哨兵模式。 多模态大模型提升自动驾驶安全性。尽管纯视觉方案具有成本优势，激光雷达可为视觉方案提供 感知冗余。弗洛斯特沙利文认为，在未来几年内随着雷达硬件成本下降和多模态大模型的发展， 视觉+毫米波雷达+激光雷达方案凭借安全冗余的优势仍将在 L2+高等级自动驾驶中受到广泛选择。

AI 算法复杂度和精度提升，主流传感器算法从决策级融合算法逐渐向特征级融合算法过渡。决策 级融合算法是将各传感器数据分别进行特征提取并进行识别，最后融合感知信息以备决策。决策 级融合算法对不同传感器分别建立识别模型，其算法复杂度低、算力要求小，且便于进行不同传 感器组合，是目前自动驾驶车企采取的主流方案;但是该方法精度有限，在城市道路等复杂场景 下适用性较差。特征级融合算法是在多传感器特征提取的基础上进行特征融合并识别，较决策级 融合信息丢失更少，精度更高，同时所需算力有所提高但仍低于数据级融合算法。

Transformer 大模型的应用使数据驱动的感知算法快速发展。特斯拉 FSD 系统目前采用纯视觉传 感器，将多个摄像头获取的 2D 图像在 Occupancy 网络进行特征融合，再使用 Transformer 模型 进行训练;毫末智行将摄像头+雷达多模态传感数据进行前融合，并使用 Transformer 模型训练; 小鹏汽车亦采用多摄像头数据 BEV 空间+Transformers 融合方案。 在感知领域，现有自动驾驶厂商凭借实车数据积累占据大模型先机。主流厂商在城市领航辅助驾 驶(NOA)中采用 BEV 算法，特斯拉率先应用的 BEV+Transformer 感知大模型基于摄像头硬件 +CV 大模型，可实现“重感知、轻地图”乃至彻底“脱图”。多家国内主流自动驾驶车企已宣布 开发和量产基于 BEV+Transformer 模型的感知架构。百度于 2022 年 11 月推出 ANP3.0 系统，预 计将于 2023 年内实现量产，率先搭载该模型的集度 ROBO-01 车型预期于 2023Q3 交付;小鹏汽 车宣布在中国率先量产了基于 BEV+Transformer 模型的 XNET 架构，自 3 月开始城市 NGP 将在 广深沪多城市多车型加速落地;23 年下半年，基于 XNET深度学习算法的 XNGP 将彻底脱高精地 图;华为 ADS 2.0 架构已于 4 月落地，预计 Q2 将无图商用高阶智能驾驶方案推广到全国 15 城， Q4 推广到 45 城;毫末智行于 2023 年 4 月宣布 DriveGPT 认知大模型系统将首先搭载在 6 月正式 上市的新摩卡 DHT-PHEV;商汤于 2023 年 4 月宣布 BEV 环视通用感知算法已进入实车量产阶段，其中广汽埃安 aion lx plus 车型已于 2023 年 1 月上市;蔚来于 2023 年 5 月发布 Banyan2.0.0 系统，正式实行 BEV 模型量产上车，将于 6 月 OTA 升级多款 2022、2023 款车型;地平线等厂 商也纷纷宣布将在 2023 年内实现 BEV+Transformer 模型架构的落地。理想汽车将在很快向北京 和上海的内测用户交付不依赖高精地图的城市 NOA 功能，使用自研的类似 BEV 的神经先验 NPN 网络(Neural Prior Net)，也在红绿灯信号识别、通行规划控制等方面引入大模型算法。理想也 将在下半年开放通勤 NOA 功能，可以在 1-2 周内完成上班通勤路线的激活。

数据驱动的大模型落地推动传感器硬件发展。摄像头分辨率提升有助于感知模型精度提高，但同 时也会带来计算量的增加，提升算力和传输带宽需求。特斯拉HW3.0系统使用8颗分辨率为1.2M (1280x960)摄像头，总算力约为 144TOPS;据媒体报道，HW4.0 系统将使用 12 颗分辨率为 5.4M(2896x1876)摄像头，总算力约为 500TOPS。国内理想 one, 蔚来 ET7，小鹏 SUVG9， 极氪 001 等自动驾驶高端车型纷纷实装 8M 摄像头，以达到更高的感知精度和更远的感知距离。

4D 毫米波雷达落地，毫米波雷达有望迭代。 4D 毫米波雷达在传统毫米波雷达的距离、方位、速 度三个维度基础上增加了高度，从而具有更高分辨率和一定成像能力，有望取代3D毫米波雷达。 据高工智能汽车研究院预计，2023 年中国乘用车市场前装 4D 毫米波雷达将突破百万颗，到 2025 年 4D 成像雷达占全部前向毫米波雷达的比重有望超过 40%。4D 毫米波雷达可与纯视觉方案结合， 提高感知精度;也可部分替代激光雷达，应用于侧向感知或低等级自动驾驶的前向感知中，提供 兼具成本和精度的硬件解决方案。例如英特尔子公司 Mobileye 计划 2025 年在侧向感知中使用毫 米波雷达代替激光雷达。

高线束激光雷达在角分辨率和点云数量上较 4D 毫米波雷达仍具有优势。高线束(32 线以上)激 光雷达通过对周围环境扫描能够形成 3D 图像模型，可在横向 120°视场范围生成百万/秒的点云 量，满足高级别自动驾驶的感知需求;而 4D 毫米波雷达虽具有一定成像能力，但目前生成点云 仅可达到十万/秒的数量级，角分辨率也逊于激光雷达。对于感知大模型来说，数据量至关重要， 因此，短期内对于多模态感知模型，高线束激光雷达仍无法完全被毫米波雷达取代。 激光雷达技术从机械式向全固态升级，降本有望。MEMS、FLASH 激光雷达已逐步走向市场，有 望降低激光雷达成本并提高稳定性，从而为激光雷达在自动驾驶领域的应用创造更广阔空间。 超声波雷达成本低廉，但工作距离很近，特斯拉、毫末智行等公司已采用视觉方案代替超声波雷 达。超声波雷达主要应用于泊车辅助系统，进行低速高精度下的距离测量，基于视觉的 Occupancy 网络+Transformer 模型有望替代超声波雷达实现该功能。但对于 L0-L2 低级别辅助驾 驶车辆，装载超声波雷达仍是更具成本性和安全性的选择。