自动驾驶提示工程核心要点：从感知到决策的Prompt设计方法论
摘要/引言：为什么自动驾驶需要「会懂场景的Prompt」？
清晨7点的北京二环，一辆自动驾驶测试车正匀速行驶。突然，右侧公交车站旁的绿化带里窜出一只猫——传统感知模型立刻输出「小型动物，距离8米」，但决策系统却卡住了：是急刹车避免撞猫？还是保持速度防止后车追尾？此时，若有一个「懂场景的Prompt」，能让大模型快速判断「猫的移动轨迹不会进入车道」，并输出「保持当前速度，轻踩刹车提示后车」的决策，就能避免一场不必要的急刹。
这不是科幻场景，而是当前自动驾驶面临的**「场景理解鸿沟」**：传统规则引擎和机器学习模型能处理「标准化场景」（如红绿灯识别、直线行驶），但面对「非结构化场景」（如鬼探头、施工变道、动物横穿）时，要么因规则覆盖不全而出错，要么因缺乏常识推理而做出反直觉决策。
而提示工程（Prompt Engineering），正是填补这道鸿沟的关键工具——它能让大模型「听懂」自动驾驶的场景需求，「学会」用人类的逻辑思考问题，最终输出安全、合规、高效的决策。
本文将结合我在自动驾驶公司3年的提示工程实践，从「感知→预测→决策→安全」四大核心模块，拆解自动驾驶提示工程的8个核心要点和3个实战案例，帮你掌握「让大模型成为自动驾驶「大脑」」的方法论。
一、前置知识：自动驾驶的「四大核心模块」与Prompt的角色
在聊提示工程之前，先快速梳理自动驾驶的技术栈逻辑——这是理解后续Prompt设计的基础：
| 模块 | 功能描述 | 传统方案痛点 | Prompt的价值 |
|---|---|---|---|
| 感知 | 从传感器（摄像头/雷达/激光雷达）中提取环境信息（如行人、车辆、路标） | 输出「冰冷的边界框」，缺乏语义理解（如「手持球的儿童」≠「普通行人」） | 将原始数据转化为「带常识的语义描述」 |
| 预测 | 预测其他交通参与者（行人、车辆）的未来轨迹和行为意图 | 基于统计概率，缺乏因果推理（如「前车刹车」可能是因为「前方施工」而非「随机行为」） | 引导大模型做「因果级预测」，而非「概率猜测」 |
| 决策 | 根据感知、预测结果，输出自车的行为指令（如加速、刹车、变道） | 依赖预定义规则，易出现「规则冲突」（如「左转让直行」 vs 「礼让行人」） | 让决策「对齐人类价值优先级」（安全＞合规＞高效） |
| 安全 | 监测系统异常，触发应急响应（如紧急刹车、接管提醒） | 被动触发，无法提前识别大模型「幻觉」（如误判「树干为行人」） | 构建「主动安全护栏」，提前纠正大模型错误 |
简单来说：Prompt是「翻译官」——把自动驾驶的场景需求翻译成大模型能理解的语言，再把大模型的输出翻译成自动驾驶系统能执行的指令。
接下来，我们逐个模块拆解Prompt设计的核心要点。
二、感知模块：从「数据解析」到「语义增强」的Prompt设计
感知是自动驾驶的「眼睛」，但传统感知模型的输出往往是「结构化但无意义」的数据（如「行人，边界框坐标（x1,y1,x2,y2）」）。而Prompt的任务，是让大模型把这些数据「升级」为带场景语义和常识的描述——比如把「行人+球」转化为「可能突然横穿马路的儿童」。
1.1 感知Prompt的「三要素」：语义、空间、意图
核心结论：感知Prompt必须覆盖「目标语义属性」「空间关系」「行为意图」三个维度，才能为后续模块提供有用信息。
我们用一个具体案例说明：
原始感知数据（来自摄像头+激光雷达）：
- 目标1：行人（边界框：x=100,y=200,x=150,y=300；激光雷达距离：5米；速度：0.5m/s）
- 目标2：球（边界框：x=120,y=280,x=140,y=300；激光雷达距离：5.2米）
糟糕的Prompt设计（仅做数据堆砌）：
「请描述以下感知数据：行人（距离5米，速度0.5m/s），球（距离5.2米）。」
输出结果（无价值）：
「有一个行人和一个球，距离分别是5米和5.2米。」
优秀的Prompt设计（覆盖三要素）：
「基于以下感知数据，输出结构化语义描述，需包含：
- 目标语义属性（如「儿童/成人」「手持物品」）；
- 空间关系（目标与自车、目标之间的相对位置）；
- 行为意图（基于常识推断的可能行为）。
感知数据：
- 行人：距离自车5米，位于左侧车道线旁，速度0.5m/s；
- 球：距离自车5.2米，位于行人正前方0.2米处。」
输出结果（有价值）：
「目标1：儿童（推测，因体型较小），手持球；
空间关系：自车正前方左侧车道线旁，球在行人脚边；
行为意图：可能弯腰捡球或突然跑向球的方向（常识：儿童常追球）。」
)
