友情链接:
合作联系
|
ASPEN培训课程
自动驾驶感知算法工程师、ADAS系统开发人员、计算机视觉/激光雷达数据处理研究人员、智能网联汽车技术人员。
理解激光雷达和视觉传感器的工作原理与数据特点。
掌握目标检测、目标跟踪、多传感器时空同步与融合算法。
能够独立完成基于激光雷达和视觉融合的感知系统开发与验证。
自动驾驶感知系统概述：感知系统在自动驾驶中的核心地位（环境理解、决策基础）；常用传感器（摄像头、激光雷达、毫米波雷达、超声波）的特性对比；多传感器融合的必要性（优势互补、提高鲁棒性）。
激光雷达原理与数据处理：激光雷达的工作原理（TOF、FMCW）；机械式、固态、MEMS激光雷达的特点；点云数据的特性（稀疏性、无序性、距离信息）；点云预处理（滤波、降采样、地面分割）。
视觉传感器原理与图像处理：摄像头的工作原理（CMOS/CCD）；单目、双目、多目摄像头的特点；图像预处理（去畸变、直方图均衡化）；图像特征提取（SIFT、SURF、ORB）。
目标检测基础：基于深度学习的2D目标检测（YOLO系列、SSD、Faster R-CNN）；基于深度学习的3D目标检测（PointPillars、VoxelNet、PointRCNN）；检测结果的评价指标（mAP、IoU、准确率、召回率）。
激光雷达目标检测：点云中的目标检测方法（基于鸟瞰图的检测、基于前视图的检测、基于点云的检测）；PointPillars算法的原理与实现；激光雷达检测输出（3D边界框、类别、速度）。
视觉目标检测：图像中的目标检测；单目视觉的深度估计（几何约束、深度学习）；双目视觉的视差计算与深度恢复；视觉检测输出（2D边界框、类别、像素级分割）。
多传感器时空同步：时间同步（硬件同步PPS/GPRMC、软件同步）；空间同步（坐标系转换）；激光雷达与相机的联合标定（获取外参）；标定板的制作与数据采集；标定精度验证。
数据级融合：早期融合（将点云投影到图像平面进行特征融合）；像素级融合的挑战（分辨率差异、数据对齐）；点云与图像的像素级关联。
特征级融合：中期融合（分别提取特征后进行特征拼接）；基于注意力机制的特征融合；多模态特征的对齐与交互；特征级融合的网络结构设计。
目标级融合：后期融合（分别检测后进行结果融合）；目标关联（匈牙利算法、IOU匹配）；融合策略（卡尔曼滤波融合、贝叶斯融合、D-S证据理论）；目标级融合的优势（模块解耦、灵活性高）。
多目标跟踪：跟踪的基本流程（检测-关联-预测-更新）；卡尔曼滤波在目标跟踪中的应用；匈牙利算法与数据关联；SORT与DeepSORT算法；跟踪性能评估指标（MOTA、IDF1）。
综合实战项目：基于激光雷达和视觉融合的自动驾驶感知系统开发，包含传感器数据采集、时空同步、目标检测模型训练（PointPillars+YOLO）、特征级/目标级融合实现、多目标跟踪与结果可视化。
