目标学员:AI/机器人领域工程师、研究员、技术决策者(建议具备机器学习基础)
课程大纲:
1:具身智能基础与前沿综述
模块1.1:具身智能:从历史到未来
· 具身智能的哲学与认知科学基础
· 发展历程:行为主义 → 符号主义 → 连接主义 → 具身主义
· 三大技术范式对比:
· 行业现状与挑战分析
模块1.2:核心数学与理论基础
· 马尔可夫决策过程(MDP)与部分可观测MDP(POMDP)
· 最优控制与强化学习理论框架
· 物理仿真基础:刚体动力学、接触力学
· 现代优化方法在机器人中的应用
模块1.3:工具链与环境搭建
· 开发环境全栈配置
· 主流仿真平台对比:
o Isaac Sim (NVIDIA) - GPU加速,工业级
o MuJoCo (DeepMind) - 物理精度高
o PyBullet - 开源易用
o Drake - 符号计算,控制理论友好
2:感知与理解:机器人的“眼”与“脑”
模块2.1:多模态感知技术
· 视觉感知:
o 2D/3D物体检测与位姿估计
o 场景分割与理解
o 视觉里程计与SLAM
· 触觉与力觉感知:
o 触觉传感器原理与数据处理
o 力控制基础
· 多传感器融合策略
模块2.2:视觉语言模型在具身中的应用
· VLM核心架构:CLIP、BLIP、Flamingo
· 具身视觉语言任务:
o 视觉问答(VQA)
o 视觉导航指令跟随
o 物体操作描述
模块2.3:3D场景理解与表示学习
· 3D表示方法对比:点云、体素、神经辐射场(NeRF)
· 场景图生成与推理
3:动作与控制:机器人的“手”与“脚”
模块3.1:强化学习在机器人控制中的应用
· 深度强化学习算法家族:
o 基于值函数:DQN及其变体
o 基于策略梯度:PPO、SAC、DDPG
o 模仿学习:BC、GAIL、DAgger
o 离线强化学习:CQL、IQL
模块3.2:灵巧操作与双手协同
· 操作技能表示:动作基元、技能库
· 接触丰富的操作任务
· 双手协同策略学习
模块3.3:移动机器人与导航
· 运动规划算法:A*、RRT、MPC
· 基于学习的导航策略
· 社交导航:在人群中安全移动
4:决策与规划:从感知到行动的桥梁
模块4.1:大语言模型作为规划器
· Code as Policies:生成可执行代码
· SayCan框架:结合技能库的规划
· VoxPoser:3D值函数合成
模块4.2:分层强化学习与技能发现
· 选项框架与技能分层
· 无监督技能发现
· 课程学习与课程生成
模块4.3:长期任务规划与因果推理
· 符号规划与神经符号方法
· 因果推断在机器人决策中的应用
· 元学习与快速适应
5:系统集成与前沿挑战
模块5.1:仿真到真实迁移(Sim2Real)
· 域随机化原理与方法
· 系统辨识与模型校准
· 零样本迁移技术
模块5.2:具身智能系统架构
· 模块化架构设计
· 实时性保证与计算资源分配
· 安全性与鲁棒性考虑
· 案例分析:RT-1、RT-2架构解析