体系定位：本课程是沉浸式交互开发工程师的核心能力矩阵，面向具备三维引擎基础与空间计算认知的XR应用开发者、交互设计师、数字孪生产品工程师及跨平台技术架构师。课程完整覆盖从系统架构→移动VR→6DoF交互→AR应用→MR混合现实→跨平台生态的全链路技术栈，每个技术模块均绑定主流工业级/开源软件工具，帮助学员建立从“单平台开发”到“全场景沉浸式交互设计”的能力跃迁。学员可根据自身技术方向与职业目标，自主选修任一专题，各专题独立成章。
培训目标：帮助学员深入理解VR/AR/MR三类沉浸式技术的核心差异与共性架构，掌握显示技术、跟踪定位、空间映射、坐标系对齐、延迟优化等底层原理，建立跨平台的空间计算思维框架。
|
模块 |
主要培训内容 |
软件工具 |
|
XR技术谱系与系统架构 |
VR/AR/MR定义边界、光学透视与视频透视、显示引擎架构、渲染流水线差异 |
Unity XR Plug-in Management、Unreal XR SDK |
|
显示技术与光学架构 |
微显示器面板、波导/自由空间光学组合器、视网膜投影、变焦/多焦面显示、辐辏调节冲突缓解 |
主流XR设备SDK、光学仿真工具 |
|
跟踪与定位技术 |
同时定位与地图构建/视觉惯性里程计、超声波/光学/电磁定位、内外向追踪、SLAM算法集成 |
ARCore、ARKit、OpenCV、Intel RealSense SDK |
|
空间映射与场景理解 |
网格重建、语义分割、平面检测、物体识别、动态遮挡处理 |
ARFoundation、MRTK、Azure Spatial Anchors |
|
坐标系对齐与空间锚定 |
世界锚点、持久化存储、多用户坐标同步、地理空间对齐 |
ARCore Cloud Anchors、Azure Spatial Anchors、Niantic Lightship |
|
延迟优化与预测补偿 |
渲染延迟、光子到运动延迟、时间扭曲、空间扭曲、异步时间扭曲 |
主流XR设备SDK、Unreal Engine、Unity |
|
工程实践 |
多设备XR项目架构搭建与平台特性探测 |
Unity/Unreal + OpenXR + 设备SDK |
前置要求：计算机图形学基础、三维变换基础
培训目标：使学员系统掌握移动VR平台的开发范式与性能约束，精通双目渲染优化、交互光标设计、头部跟踪响应及功耗控制策略，具备独立完成Cardboard及主流移动VR一体机应用开发的能力。
|
模块 |
主要培训内容 |
软件工具 |
|
移动VR硬件架构 |
手机盒子方案、VR一体机架构、分块渲染、统一内存、功耗预算 |
Google Cardboard SDK、PICO SDK、Meta Quest Mobile SDK |
|
双目渲染与畸变校正 |
非对称视锥体、桶形畸变校正、色差补偿、多视图渲染 |
Google VR SDK、Unity XR、Unreal Engine |
|
头部跟踪与姿态预测 |
惯性测量单元融合、互补滤波、卡尔曼滤波、姿态预测补偿 |
主流VR SDK、OpenVR、OpenXR |
|
交互光标与注视点 |
视线光标设计、凝视触发、时间进度反馈、注视点渲染 |
Google VR SDK、PICO Interaction SDK |
|
移动VR性能优化 |
渲染批次合并、着色器复杂度、固定注视点渲染、动态分辨率 |
Unity Profiler、Snapdragon Profiler、RenderDoc |
|
空间音频基础 |
头部相关传输函数、声源定位、距离衰减、混响模拟 |
Resonance Audio、Oculus Spatializer、FMOD |
|
工程实践 |
移动VR全景视频播放器或轻量交互应用开发 |
Google Cardboard + Unity + Resonance Audio |
前置要求：专题一或具备同等XR基础
培训目标：使学员深入理解六自由度VR的核心交互范式，精通手柄追踪、射线/直接抓取、瞬移导航、房间尺度追踪、手势识别等关键技术，具备构建完整沉浸式VR体验的工程能力。
|
模块 |
主要培训内容 |
软件工具 |
|
6DoF追踪系统 |
由外向内/由内向外追踪、光学标记、惯性辅助、多基站同步 |
SteamVR Tracking、Oculus Insight、PICO Inside-out |
|
XR交互架构 |
交互器与可交互对象模型、悬停/选中/激活状态机、交互事件系统 |
Unity XR Interaction Toolkit、Unreal XR Interaction |
|
射线交互范式 |
抛物线投射、视觉反馈、弯曲补偿、远距离操作、UI交互适配 |
XR Interaction Toolkit、SteamVR SDK |
|
直接抓取与物体操控 |
物理抓取、运动学抓取、单手/双手操作、物体传递、重力补偿 |
XR Interaction Toolkit、Meta Interaction SDK |
|
瞬移与连续移动 |
抛物线传送、有效表面检测、转向策略、晕动症缓解 |
XR Interaction Toolkit、PICO Interaction SDK |
|
房间尺度追踪 |
边界系统、安全区设定、空间校准、多房间映射 |
SteamVR Chaperone、Oculus Guardian、OpenXR |
|
手势识别与手部追踪 |
手部关节点定位、手势分类、自然交互设计、手部网格渲染 |
Ultraleap Gemini、Meta Hand Tracking、OpenXR Hand Tracking |
|
工程实践 |
6DoF VR交互沙盒（包含抓取、传送、UI交互、手势） |
Unity/Unreal + XR Interaction Toolkit + OpenXR + Leap Motion |
前置要求：专题二或具备同等三维交互基础
培训目标：使学员系统掌握增强现实应用的核心技术栈，精通图像跟踪、平面检测、环境理解、光照估计、云锚点等能力，具备独立开发跨平台AR应用的工程能力。
|
模块 |
主要培训内容 |
软件工具 |
|
AR跟踪技术 |
自然特征点跟踪、标记物跟踪、模型跟踪、同时定位与地图构建视觉里程计 |
ARCore、ARKit、Vuforia、EasyAR |
|
图像跟踪与识别 |
特征提取与匹配、参考图像数据库、扩展跟踪、多目标跟踪 |
Vuforia Image Target、ARCore Augmented Images |
|
平面检测与表面几何 |
水平/垂直平面识别、多边形边界、平面锚点、动态平面更新 |
ARFoundation、ARCore/ARKit平面检测 |
|
环境理解 |
光线估计、材质分类、物体检测、场景几何重建 |
ARCore Environmental HDR、ARKit Scene Reconstruction |
|
云锚点与持久化 |
空间锚点创建、云端同步、多用户共享坐标系 |
ARCore Cloud Anchors、Azure Spatial Anchors |
|
AR内容放置与交互 |
屏幕点选、空间放置、物理模拟、虚拟按钮 |
ARFoundation、MRTK、Zapworks Studio |
|
WebAR与轻量AR |
浏览器AR框架、渐进式Web应用、跨平台部署 |
8th Wall、Zapworks、A-Frame、AR.js |
|
工程实践 |
完整AR营销/教育应用开发（图像跟踪+平面放置+云锚点） |
Unity + ARFoundation + Azure Spatial Anchors / Zapworks |
前置要求：专题一或具备同等移动开发基础
培训目标：使学员深入理解混合现实的技术本质与空间计算前沿，精通空间网格、场景理解、眼动追踪、语音交互、全息远程传输等能力，具备构建MR原生应用及数字孪生交互系统的工程能力。
|
模块 |
主要培训内容 |
软件工具 |
|
MR系统架构 |
透视显示技术、空间映射与锁定、虚实遮挡、物理交互 |
Microsoft MRTK、Magic Leap SDK、Apple VisionOS |
|
空间网格与场景理解 |
实时网格重建、网格简化、物理碰撞生成、语义分类 |
ARKit Scene Reconstruction、MRTK Spatial Awareness |
|
全息远程传输 |
实时三维捕获、点云/网格压缩、网络同步、全息再现 |
Microsoft Holoportation、DepthKit、Azure Remote Rendering |
|
眼动追踪与注视交互 |
瞳孔定位、视线向量、注视点渲染、眼动数据分析 |
Tobii XR SDK、PICO Eye Tracking、HTC VIVE Eye Tracking |
|
语音交互集成 |
关键词唤醒、语音指令、自然语言理解、多轮对话 |
Microsoft Speech SDK、PICO Voice SDK、Wit.ai |
|
空间音频与声场渲染 |
几何声学、反射建模、声场定位、环境遮蔽 |
Microsoft Spatial Sound、Oculus Spatializer |
|
多模态交互融合 |
手势+语音+眼动协同交互、交互意图理解 |
MRTK、XR Interaction Toolkit |
|
工程实践 |
MR空间协作应用（空间锚点共享+语音交互+手势操作） |
Unity + MRTK + Azure Spatial Anchors + Microsoft Speech SDK |
前置要求：专题三、专题四或具备同等深度开发经验
培训目标：使学员系统掌握OpenXR这一跨平台XR标准的架构设计与工程实践，精通多设备适配策略、输入系统抽象、渲染桥接机制，具备构建一次开发、多端部署的XR应用能力。
|
模块 |
主要培训内容 |
软件工具 |
|
OpenXR标准体系 |
Khronos标准演进、分层架构、API抽象、运行时实现 |
OpenXR SDK、Monado开源运行时 |
|
设备适配与平台抽象 |
硬件探测、能力查询、扩展机制、回退策略 |
Unity OpenXR Plugin、Unreal OpenXR Plugin |
|
输入系统统一化 |
动作绑定、输入配置文件、路径语义、控制器模型 |
OpenXR Action System、Unity Input System |
|
渲染桥接机制 |
图形API绑定、交换链管理、帧同步、多视图渲染 |
OpenXR + Vulkan/DirectX/OpenGL |
|
扩展机制与前沿能力 |
手部追踪扩展、身体追踪、空间实体、触觉反馈 |
OpenXR Hand Tracking、XR_EXT_eye_gaze_interaction |
|
开源运行时生态 |
Monado架构、驱动开发、设备兼容层、Linux XR |
Monado、OpenHMD |
|
多平台发布策略 |
应用商店兼容性、平台特性检测、条件编译 |
Unity Cloud Build、SteamVR、Oculus PC SDK |
|
工程实践 |
基于OpenXR的跨平台XR应用移植与适配 |
Unity/Unreal + OpenXR Plugin + 多设备真机验证 |
前置要求：专题三或专题四，具备多平台开发经验
|
学员角色 |
建议选修专题 |
核心软件工具链 |
学习目标 |
|
XR入门/转型开发者 |
专题一 + 专题二 |
Unity + Google VR/主流移动VR SDK |
建立XR技术认知框架，掌握轻量化VR开发能力 |
|
6DoF VR应用开发者 |
专题三 + 专题六 |
Unity/Unreal + XR Interaction Toolkit + OpenXR |
精通沉浸式交互设计，具备跨平台VR开发能力 |
|
AR应用工程师 |
专题四 + 专题六 |
Unity + ARFoundation + Azure Spatial Anchors |
掌握AR核心跟踪与空间锚定技术，构建商业AR应用 |
|
MR混合现实工程师 |
专题五 + 专题六 |
Unity + MRTK + OpenXR + Azure Remote Rendering |
深入空间计算与场景理解，构建MR原生体验 |
|
数字孪生/工业仿真工程师 |
专题三 + 专题五 + 专题六 |
Unity + MRTK + OpenXR + Azure Spatial Anchors |
构建工业级数字孪生交互系统 |
|
跨平台XR架构师 |
专题六 + 专题三 |
OpenXR + Monado + 多设备SDK |
掌握XR标准化技术栈，主导企业级跨平台技术方案 |
|
XR硬件/算法工程师 |
专题一 + 专题五（跟踪/显示） |
光学仿真工具 + SLAM算法库 |
深入理解XR系统底层原理，支撑硬件与算法研发 |
|
XR全栈开发专家 |
全六专题 |
Unity/Unreal + OpenXR + XRI + MRTK + ARFoundation |
建立从移动VR到MR、从单平台到跨平台的完整XR技术视野 |
