插插插网 车企首秀CVPR 2025：郎咸一又签字，理思汽车斡旋北大浙大攻克4D仿真穷苦

插插插网

全民智驾的元年到来，AI 正成为车企竞争的新赛场。

文丨智驾网 王欣

裁剪 | 雨来

全民智驾的元年到来，AI 已成为车企竞争的新赛场。

3 月 5 日，CVPR 2025 收获单出来了，其中，理思汽车上榜了 4 篇。

CVPR 外洋揣度打算机视觉与口头识别会议是 IEEE（电气和电子工程师协会）主理的一年一度的外洋会议，被公觉得揣度打算机视觉限度的顶级会议之一，和 ICCV、ECCV 并称揣度打算机视觉三大顶级会议，比年来也不断有自动驾驶限度的前沿商议获奖。

关于理思汽车的酷好在于，这不仅是其初度以车企身份置身寰球顶级 AI 会议，更记号着其从"造车新势力"向信得过发展为 AI 公司的政策转型有了一个阶段性的后果。

本日，理思汽车创举东说念主、董事长、CEO 李思在酬酢媒体上发文称：自从特斯拉的全自动驾驶（FSD）功能入华后，进程对比，理思 AD Max V13 的接管次数彰着少于特斯拉 FSD，泄漏更好。李思还提到，理思 AD Max V13 基于 1000 万条数据进行磨真金不怕火，并于 2 月 27 日全面推送，得回了用户的好评。

这次入选的四篇论文背后的签字作家是理思汽车副总裁、智驾郑重东说念主朗咸一又过头团队的多名工程师。在不久前的理思汽车 AI Talk 中，朗咸一又曾在直播中示意，展望 2025 年理思汽车玩忽竣事 L3 级的智能驾驶。

这次入选的 StreetCrafter、DrivingSphere、DriveDreamer4D 与 ReconDreamer 四篇论文，主若是理思汽车在自动驾驶模拟仿真办法作念的改进，同期直面恢复自动驾驶研发的核肉痛点穷苦：数据本钱高企与顶点场景遮掩不及。

底下咱们离别知道这四篇论文：

01.

StreetCrafter：基于 LiDAR 与视频扩散模子的街景合成手艺

StreetCrafter 是看成理思汽车斡旋浙江大学、康奈尔大学冷漠的自动驾驶仿真手艺，其中枢办法是通过 LiDAR 点云与视频扩散模子的会通，贬责传统式样（如 NeRF、3D 高斯散射）在视角偏离磨真金不怕火轨迹时渲染无极或伪影的穷苦。

其中枢手艺包含两部分：

可控视频扩散模子：通过多帧 LiDAR 点云团聚生周全局点云，并渲染为像素级条款图像，看成扩散模子的输入。在推理阶段，把柄新视角的相机轨迹生成高保真视频帧，撑捏及时渲染和场景裁剪（如对象平移、替换和删除）。

动态 3D 高斯示意蒸馏：诳骗生成的新视角图像看成监督信号，优化 3D 高斯的几何与纹理，勾搭夹杂亏本函数（L1、SSIM、LPIPS）和渐进优化策略，进步视角外推才能，同期保捏 80-113 FPS 的及时渲染速率。

实践收尾涌现，在 Waymo 数据集上，StreetCrafter 在 3 米视角偏移下的 FID 为 71.40，显耀优于 Street Gaussians 的 93.38，且在复杂区域（如车说念线和出动车辆）的细节明晰度更高。

StreetCrafter 其应用价值在于裁减自动驾驶磨真金不怕火对真的数据的依赖。举例，在磨真金不怕火车辆变说念算法时，可通过转机相机轨迹生成多角度变说念场景视频，模拟不同光照、天气条款下的数据，以及应酬顶点场景下的仿真测试。

在应酬突发休止物（如行东说念主横穿、车辆逆行）时，诳骗场景裁剪功能，在 LiDAR 点云中插入编造休止物（如删除说念路上的车辆并替换为行东说念主），生成测试视频。举例，模拟行东说念主短暂闯入车说念，考证系统关键制动才能。

但局限性包括对 LiDAR 标注的高本钱依赖（数据鸠合本钱进步）、生成速率仅 0.2FPS，以及对形变物体（如行东说念主）的建模精度不及。

也许恰是意志到这些不及，日前理思汽车布告：本年推出的所有这个词车型都将标配激光雷达传感器。

02.

DrivingSphere：生成式闭环仿真框架与 4D 高保真环境建模

DrivingSphere 旨在构建一个撑捏动态闭环交互的 4D（3D 空间 + 时候）仿真环境，以克服传统开环仿真数据各种性不及、闭环仿真视觉保真度低的问题。

框架主要通过两大模块和一个机制，为智能体构建了高保真 4D 天下，评估自动驾驶算法。

动态环境组合（DEC 模块）：基于 OccDreamer（3D 占用扩散模子）生成静态场景，并勾搭" Actor Bank "动态料理交通参与者（如车辆、行东说念主），通过语义雷同性或当场采样遴荐参与者，竣事城阛阓景的无尽彭胀。

该模块接纳 OccDreamer，一个基于俯视图（BEV）和文本条款截至的 3D 占用扩散模子，用于生成静态场景。它通过 VQ-VAE 将 3D 占用数据压缩为潜在示意，并勾搭 ControlNet 分支注入 BEV 舆图和文本提醒，冉冉生成城市级斡旋静态场景。

视觉场景合成（VSS 模块）：诳骗双旅途条款编码（全局几何特征与局部语义图）和视频扩散模子（VideoDreamer），生成多视角时空一致的高保真视频，并通过 ID 感知编码绑定参与者外不雅与位置，贬责外不雅漂移问题。

闭环反馈机制：通过 Ego Agent（被测算法）与环境 Agent（交通流引擎）的交互，竣事"感知 - 决策 - 环境反应"的动态闭环测试，考证算法在复杂场景中的鲁棒性。

在实践与收尾方面，DrivingSphere 在视觉保真度评估中泄漏出色。

在 nuScenes 数据集上，DrivingSphere 的 OccDreamer 模块生成的场景 FID 显耀优于 SemCity，视频生成收尾在 3D 办法检测和 BEV 分割方针上畸形 MagicDrive 与 DriveArena。

总的来看，DrivingSphere 其中枢孝敬在于将几何建模与生成式手艺勾搭，但论文也指出，需进一步优化动态行为的复杂性（如顶点场景遮掩不及）和揣度打算本钱。

03.

DriveDreamer4D：基于天下模子的 4D 驾驶场景重建与轨迹生成

DriveDreamer4D 的办法是通过天下模子（World Model）增强 4D 驾驶场景重建的时空一致性与生成质料，贬责传统传感器仿真式样（如 NeRF、3DGS）在复杂动作（如变说念、加快）下的局限性。

比如，现存传感器仿真手艺（如 NeRF、3D 高斯散射）依赖与磨真金不怕火数据分散详细匹配的条款，仅能渲染前向驾驶场景，难以处理复杂动作（如变说念、急刹）导致的视角偏移或动态交互问题，常出现"鬼影""拖影"等伪影。

亦或是开环仿真数据各种性不及，闭环仿真则靠近视觉保真度低、动态交互不真的等挑战。

那么天下模子通过预测夙昔情状生成各种化驾驶视频，但其此前局限于二维输出，零落时空连贯性，无法称心 4D 场景重建需求。

DriveDreamer4D 的中枢架构分为两大部分：

新轨迹生成模块（NTGM）：撑捏文本形色或自界说联想生成轨迹（如变说念、加降速），并通过仿真环境（如 CARLA）进行碰撞检测与安全性评估，生成截至信号以运行视频合成。

正则化磨真金不怕火策略（CDTS）：引入感知一致性亏本，优化合成数据与真的数据的分散对皆，并通过瑕疵反馈迭代进步轨迹生成质料。

实践标明，DriveDreamer4D 在时空一致性和视觉真的性上优于 PVG、S ³ Gaussian 等基线模子。用户调研中，其在老例场景（如单车说念变说念）的生收效果获好评，但在跨车说念等顶点动作下仍存在重建失效问题。

该商议的应用价值在于裁减数据鸠合本钱并增强算法鲁棒性，但需进一步勾搭时序建模与多模态输入（如高精舆图）以进步复杂场景的安妥性。

04.

ReconDreamer：动态驾驶场景在线建树与渐进式数据更新

ReconDreamer 聚焦于贬责动态场景重建中大幅动作导致的伪影问题（如前景误解、车辆装潢）。

针对这一类问题，ReconDreamer 还是是诳骗天下模子的常识，通过在线建树 ( DriveRestore ) 和渐进数据更新策略 ( Progressive Data Update Strategy 以下简称 PDUS ) 两大妙技，贬责复杂动作的渲染质料问题。

在线建树手艺（DriveRestorer）：构建退化帧与渊博帧的建树数据集，通过扩散模子去噪策略建树伪影，并接纳脱敏策略优先处理问题严重区域（如天外与前景）。

渐进式数据更新策略（PDUS）：分阶段生成更大跨度的轨迹数据（如 1.5 米→ 3 米→ 6 米），冉冉彭胀模子对复杂动作的安妥才能，直至拘谨。

ReconDreamer 的改进点在于初度将天下模子与动态重建勾搭，竣事了及时建树渲染残障，并通过渐进式磨真金不怕火策略贬责了大动作渲染中的数据分散偏移问题。

这为自动驾驶闭环仿真提供了高保真传感器数据生成决策，撑捏复杂场景（如关键变说念和多车交互）的可靠测试。

虽然局限性也包括，比如在线建树机制加多了磨真金不怕火时候，且现在仅在 Waymo 数据集上进行了考证，夙昔需要彭胀至更多复杂环境（如雨天和夜间）。

定量分析收尾涌现，ReconDreamer 在 NTA-IoU（车辆检测框重合度）上相较于基线式样（如 Street Gaussians 和 DriveDreamer4D）进步了 24.87%，在 NTL-IoU（车说念线重合度）上进步了 6.72%，同期 FID（图像质料评估）裁减了 29.97%。用户商议标明，96.88% 的用户觉得 ReconDreamer 在大动作渲染中优于 DriveDreamer4D。

定性分析收尾涌现，ReconDreamer 有用摒除了前景无极和天外噪点，保捏了车辆位置和体式的一致性，并确保车说念线在大偏移下的平滑无断裂。

此外，消融实践收尾标明，DriveRestorer 的骨干收罗基于 DriveDreamer-2 的掩码版块效果最好，而 PDUS 的步长设定为 1.5 米时性能最优，过大的步长会导致噪声积贮。

【关怀智能驾驶，关怀智驾视频号】