全面介绍具身智能核心技术，涵盖多传感器融合、ROS2、机器人规划与控制等内容。

1

本书内容

《具身智能:从理论到实践》聚焦人工智能前沿的具身智能领域，以“理论奠基-技术解析-实践应用”为主线，系统阐述相关内容。《具身智能:从理论到实践》共8章，构建了从基础概念到工程应用的完整知识体系。开篇介绍人工智能发展脉络，引出具身智能的概念，并明确其定义等关键内容。接着通过采摘福白菊的实例，剖析传统机械臂控制方法及局限。随后深入探讨VLA原理、SLAM技术、机器人感知与自主定位技术、视觉语言导航技术等核心要点，并详细介绍相关算法和模型。书中着重展示VLA技术于实体机械臂上的应用实践，同时详细讲解VLN的具体代码，涵盖算法原理与实现过程等内容。

2

本书作者

易显维

中国地质大学硕士，拥有13年算法研发及管理经验。曾任科大讯飞、北京百分点科技和中国建设银行的算法专家。在数据竞赛、机器视觉和自然语言处理等领域具有丰富经验，为公司技术研发和业务拓展作出了巨大贡献。主导了多项NLP平台和机器人产品的研发，并参与了国内外多个学术评测和算法竞赛，取得了优异成绩。

吴 凯

中国科学院大学博士，国防科技大学博士后，高级工程师。博士期间参与“嫦娥三号”工程中月球车制图与视觉导航核心算法模块的研发，博士后期间负责国防领域的无人机图像测量与视觉导航系统的关键技术研究，并开发一整套无人机视觉巡查实时应用系统。出站后作为资深研究员加入智驾领域知名科创企业，长期负责智能驾驶领域多传感器融合感知、低成本建图定位、自主导航算法自研及工程化落地，曾获测绘科技进步一等奖，已申请多项智驾核心技术专利。

3

本书读者

全书融合理论推导与代码实践，既有学术深度，又具工程实用性，适合人工智能研究者、工程师及爱好者阅读，为具身智能技术的研发与应用创新提供全面参考。

4

本书目录

目 录

第1章 序章1

1.1 创作背景：人工智能的范式跃迁1

1.2 具身智能：打破虚拟与现实的次元壁4

1.3 大模型与物理世界的融合革命8

1.4 具身智能的定义与范畴10

1.5 具身智能的关键问题11

1.6 本章小结12

第2章 传统机械臂控制实例13

2.1 目标检测模型的数据集构建和模型训练14

2.1.1 数据集构建及数据预处理14

2.1.2 模型训练15

2.1.3 模型优化与调整15

2.1.4 实际应用与效果评估15

2.2 构建坐标系，获取深度信息16

2.2.1 构建世界坐标系16

2.2.2 模型的拟合与建立16

2.3 机械臂控制实现19

2.3.1 坐标系的建立与标定19

2.3.2 坐标转换—世界坐标到机械臂基坐标的转换19

2.3.3 求解机械臂关节需转动角度20

2.3.4 轨迹规划—生成关节空间轨迹21

2.3.5 控制实现22

2.4 核心代码讲解22

2.5 本章小结28

第3章 VLA（视觉-语言-动作）原理29

3.1 视觉-语言-动作发展范式30

3.1.1 传统系统的模态割裂30

3.1.2 VLA范式—从割裂到融合的跨越31

3.1.3 VLA的核心价值—具身智能的落地实践31

3.2 隐式端到端VLA31

3.2.1 基础模块介绍32

3.2.2 方案分类36

3.2.3 RT-1算法详解39

3.3 显式端到端VLA42

3.3.1 显式端到端VLA的定义43

3.3.2 UniPi：开山之作43

3.4 分层端到端VLA48

3.4.1 分层端到端VLA的举例说明49

3.4.2 Pi0-CogACT算法详解50

3.5 本章小结55

第4章 SLAM基础原理简介56

4.1 视觉里程计原理57

4.1.1 2D-3D：对极几何58

4.1.2 八点法求解本质矩阵60

4.1.3 3D-2D：PnP61

4.1.4 3D-3D匹配：ICP65

4.2 后端状态估计与累计误差67

4.2.1 线性系统和卡尔曼滤波69

4.2.2 非线性系统和扩展卡尔曼滤波70

4.2.3 光束平差法（BA）与图优化71

4.3 回环检测消除累计误差实现精准导航75

4.3.1 词袋模型76

4.3.2 字典78

4.3.3 相似度计算79

4.4 本章小结81

第5章 机器人感知与自主定位82

5.1 常见传感器在具身智能中的应用84

5.1.1 相机84

5.1.2 惯性测量单元85

5.1.3 激光雷达86

5.1.4 角雷达87

5.1.5 全球卫星定位系统87

5.1.6 轮速传感器88

5.1.7 超声波传感器89

5.2 多传感器时间同步90

5.2.1 时间同步的意义91

5.2.2 基本方法91

5.2.3 实验方案93

5.2.4 应用案例分析94

5.2.5 性能提升策略95

5.3 轮式机器人外参标定96

5.3.1 基础理论97

5.3.2 基本方法100

5.3.3 实验方案102

5.3.4 应用案例分析107

5.4 场景感知111

5.4.1 多模态信息融合112

5.4.2 目标检测与实例分割114

5.4.3 场景深度感知116

5.5 记忆地图构建与智能导航119

5.5.1 记忆地图构建120

5.5.2 记忆地图的表示与存储120

5.5.3 记忆地图的更新与维护124

5.5.4 基于记忆地图的自主定位127

5.6 场景理解与认知128

5.7 本章小结130

第6章 视觉语言导航原理132

6.1 概述133

6.1.1 任务定义133

6.1.2 任务介绍133

6.1.3 发展历史134

6.1.4 任务三要素135

6.1.5 VLN系统的构成136

6.2 导航任务的划分138

6.2.1 指令导向任务138

6.2.2 目标导向任务140

6.2.3 需求导向任务142

6.2.4 对话导向任务144

6.3 数据集基准与仿真器145

6.3.1 数据集基准范式146

6.3.2 常见数据集介绍146

6.3.3 仿真环境150

6.4 评估指标151

6.5 Baseline方法155

6.5.1 动作空间划分155

6.5.2 图像的输入处理155

6.5.3 算法流程156

6.5.4 损失函数158

6.5.5 实验结果159

6.6 本章小结160

第7章 VLA实战161

7.1 ACT算法实践163

7.1.1 ACT算法原理163

7.1.2 ACT算法实现168

7.1.3 ACT算法复现192

7.2 DP算法实践206

7.2.1 DP算法原理206

7.2.2 DP算法实现211

7.2.3 DP算法复现219

7.3 本章小结222

第8章 VLN实战223

8.1 DUET原理223

8.1.1 整体流程223

8.1.2 详细实现224

8.2 复现流程228

8.2.1 环境配置228

8.2.2 预训练235

8.2.3 微调和验证242

8.3 本章小结248

5

本书特色