半小时入门具身智能：手动创建第一个 Isaac Lab 项目

提示

本文完整走一遍从创建 IsaacSim 仿真项目，到完成基本项目配置（MDP 配置、机器人模型配置、Gym 接口注册），再到训练、验证及可视化，最后完成策略优化的闭环流程。文章基于宇树 Go2 机器人，完整 Demo 已开源在 menoking/Go2-Demo。主要参考猫师傅的《米雪儿教你从零开始编写 Isaac Lab 强化学习环境》教程以及 Isaac Lab 官方 Quickstart Guide。

一、基础知识#

1、强化学习扫盲#

强化学习（RL）：通过让智能体（Agent）与环境（Environment）交互，学习出能够最大化累积奖励（Cumulative Reward）的策略（Policy）。

核心四要素：

智能体 Agent
奖励 Reward
环境 Environment
策略 Policy

2、领域术语#

机器人领域常见的文件格式：

格式	说明
USD	皮克斯开发的通用场景描述框架，以分层、非破坏式编辑为核心，是 Isaac Sim 的原生格式，支持复杂材质、动画和大规模场景合成
URDF	基于 XML 的机器人描述格式，定义连杆、关节、运动学和动力学属性，是 ROS 生态中机器人的标准表示
SDF	Gazebo 专用的仿真描述格式，能完整描述整个世界（多机器人、地形、传感器、灯光等），比 URDF 更强大
MJCF	MuJoCo 物理引擎的原生 XML 格式，描述紧凑、接触建模高效，广泛用于高频控制和足式机器人仿真
XACRO	URDF 的宏语言扩展，支持参数化、模块化生成 URDF 文件，用于避免重复代码
STL / OBJ / COLLADA (DAE)	仅用于存储 3D 网格几何数据的静态格式，不包含运动学或动力学信息，常被 URDF/USD 作为视觉或碰撞网格引用
GLTF / GLB	面向实时渲染和 Web 传输的 3D 格式，集成了网格、材质、动画和皮肤，在图形交换中越来越普及

3、MDP 与 Isaac Lab 工作流#

MDP（马尔可夫决策过程） 是强化学习问题形式化的数学基础，也是 Isaac Lab 中每个环境（Env）核心逻辑的设计依据。

在 Manager-based 工作流中，MDP 的各部分被拆解为独立的配置模块：
- Observation Manager：定义如何从物理状态映射到观测。
- Action Manager：定义动作空间及映射到实际控制量。
- Reward Manager：累加多个奖励项。
- Termination Manager：判断任务失败/成功条件。
在 Direct 工作流中，直接覆写 _get_observations()、_get_rewards()、_get_done_terminations() 等方法。

二、项目创建#

1、创建项目#

键入以下命令新建项目：

1
isaaclab.bat -n

进入配置页面（上下箭头移动，空格选中，回车确认）：

工作流：Manager-based 是官方推荐的声明式主流框架，模块化结构化，适合复杂任务、快速原型开发和团队协作；Direct 是命令式框架，灵活自由度高，适合简单精细任务。
RL 框架：
- rsl-rl：简单、专注且高效，是足式机器人任务快速验证的首选方案，由 ETH Zurich 研发，核心理念是”提供紧凑且易于修改的代码库”。
- SKRL（Skrl）：灵活多样的”瑞士军刀”，提供 PPO、SAC 等丰富算法库，适合快速横向对比研究。
- RL Games：工业级”性能猛兽”，训练效率和稳定性极佳，适合超长时间大规模训练任务。

创建成功后，安装项目扩展：

1
python -m pip install -e source/<given-project-name>

这条命令的作用：

安装基础环境，确保 Python 环境能够识别和导入 Isaac Lab 的核心功能。

以”可编辑”模式安装项目扩展，代码的任何修改都能立即生效，无需重新安装，便于开发。

用 VS Code 打开项目后，定位到 Manager-based 的配置文件 go2_demo_env_cfg.py，并在同目录下新建自己的配置文件（这里命名为 go2_demo_velocity.py）。

2、官方示例与仓库#

以下两个官方源可以提前打开，其中机器人文件来源于 unitreerobotics/unitree_rl_lab 项目，官方模板参考的是 IsaacLab 中的 velocity_env_cfg.py 文件。

IsaacLab 官方示例：velocity_env_cfg.py，一个基于 Manager-based 工作流的四足机器人速度追踪训练环境完整配置文件，定义了宇树 Go2 机器人在复杂地形上学习奔跑的强化学习任务。
Unitree 宇树官方仓库：unitreerobotics/unitree_rl_lab，宇树机器人的强化学习专用环境仓库。

官方示例代码中，各代码块对应的 MDP 要素：

代码块	对应 MDP 要素	具体内容与作用
`MySceneCfg`	场景与环境	包含带纹理的粗糙地形、Go2 机器人、射线高度扫描传感器（感知地形）、接触传感器（检测脚掌/大腿触地）以及天空光照
`CommandsCfg`	高层指令（任务目标）	生成随机线速度命令 `(vx, vy)` 和朝向角速度命令 `(ang_vel_z)`，机器人需要追踪这个动态变化的指令，即”速度追踪任务”的核心
`ActionsCfg`	动作空间	输出目标关节位置（`JointPositionActionCfg`），范围缩放 0.5，使用默认偏移量（机器人站立时的关节角度）
`ObservationsCfg`	观测状态 (S)	定义策略网络输入，共 7 项：机体线速度/角速度、投影重力、速度命令、关节相对位置/速度、上一次动作、地形高度扫描，并对每项添加均匀噪声
`EventCfg`	域随机化与初始化	分三类：startup（随机化物理材质、增加机身质量、改变质心位置）、reset（随机重置机器人根部位姿、关节位置/速度）、interval（随机时间间隔用力推机器人，提高抗干扰能力）
`RewardsCfg`	奖励函数 (R)	速度追踪误差的指数奖励（线速度权重 1.0，角速度权重 0.5）+ 多项惩罚（竖向线速度、横向/俯仰角速度、关节力矩/加速度、动作变化率），奖励脚掌离地时间，惩罚大腿非预期触地
`TerminationsCfg`	终止条件	超时（步数达到 `episode_length_s / dt`）和机身触地（`base_contact`）
`CurriculumCfg`	课程学习	根据机器人追踪速度的表现，自动提升地形难度等级
`LocomotionVelocityRoughEnvCfg`	总配置类	组合上述所有模块，`decimation=4`（动作每 4 个仿真步执行一次，即控制频率 50Hz，仿真频率 200Hz），`episode_length_s=20.0`

三、项目配置#

1、基本配置#

新建 py 配置文件，导入所需包，并复制 LocomotionVelocityRoughEnvCfg 总配置类到自定义文件中，将类名修改为自定义名称，这里改为 GO2RobotDemoEnv。

2、MDP 类配置#

以下所配置的 MDP 要素的每个参数都能在 IsaacLab 官方文档中搜索到释义与用法。

2.1 场景配置类 scene#

构建包含地形、机器人和传感器的虚拟环境：

1
# 环境配置
2
@configclass
3
class RobotSceneCfg(InteractiveSceneCfg):
4
    # 超平坦地形
5
    terrain = TerrainImporterCfg(
6
        prim_path="/World/ground",
7
        terrain_type="plane",
8
        collision_group=-1,
9
        physics_material=sim_utils.RigidBodyMaterialCfg(
10
            friction_combine_mode="multiply",
11
            restitution_combine_mode="multiply",
12
            static_friction=1.0,
13
            dynamic_friction=1.0,
14
        ),
15
        visual_material=sim_utils.MdlFileCfg(
16
            mdl_path=f"{ISAACLAB_NUCLEUS_DIR}/Materials/TilesMarbleSpiderWhiteBrickBondHoned/TilesMarbleSpiderWhiteBrickBondHoned.mdl",
17
            project_uvw=True,
18
            texture_scale=(0.25, 0.25),
19
        ),
20
        debug_vis=False,
21
    )
22

23
    robot: ArticulationCfg = RobotCFG.replace(prim_path="{ENV_REGEX_NS}/Robot")

克隆 Go2 宇树官方 USD 文件：

1
git clone https://huggingface.co/datasets/unitreerobotics/unitree_model

新建 assets/robot 目录（注意：assets 要和 task 同根目录），在此目录下克隆，并新建 unitree.py 文件对模型进行配置（注意脚本里路径应用正斜杠 /）：

1
import os
2

3
import isaaclab.sim as sim_utils
4
from isaaclab.actuators import IdealPDActuatorCfg, ImplicitActuatorCfg, DCMotorCfg
5
from isaaclab.assets.articulation import ArticulationCfg
6
from isaaclab.utils import configclass
7

8
# 定义模型路径
9
UNITREE_MODEL_DIR = "D:/EI/Project/go2_demo/source/go2_demo/go2_demo/assets/robot/unitree_model"
10

11
# Go2机器人配置
12
UNITREE_GO2_CFG = ArticulationCfg(
13
    # 定义加载方式
14
    spawn=sim_utils.UsdFileCfg(
15
        usd_path=f"{UNITREE_MODEL_DIR}/Go2/usd/go2.usd",  # USD文件路径
16
        activate_contact_sensors=True,  # 读取传感器信息
17
        rigid_props=sim_utils.RigidBodyPropertiesCfg(
18
            disable_gravity=False,
19
            retain_accelerations=False,
20
            linear_damping=0.0,
21
            angular_damping=0.0,
22
            max_linear_velocity=1000.0,
23
            max_angular_velocity=1000.0,
24
            max_depenetration_velocity=1.0,
25
        ),
26
        articulation_props=sim_utils.ArticulationRootPropertiesCfg(
27
            enabled_self_collisions=False,
28
            solver_position_iteration_count=4,
29
            solver_velocity_iteration_count=0,
30
        ),
31
    ),
32
    # 定义机器人初始状态
33
    init_state=ArticulationCfg.InitialStateCfg(
34
        pos=(0.0, 0.0, 0.4),
35
        joint_pos={
36
            ".*R_hip_joint": -0.1,
37
            ".*L_hip_joint": 0.1,
38
            "F[L,R]_thigh_joint": 0.8,
39
            "R[L,R]_thigh_joint": 1.0,
40
            ".*_calf_joint": -1.5,
41
        },
42
        joint_vel={".*": 0.0},
43
    ),
44
    # 软限位系数
45
    soft_joint_pos_limit_factor=0.9,
46
    # 核心：执行器模型
47
    actuators={
48
        "legs": DCMotorCfg(
49
            joint_names_expr=[".*"],
50
            effort_limit=23.5,  # 输出力矩上限
51
            saturation_effort=23.5,
52
            velocity_limit=30.0,
53
            stiffness=25.0,  # PD控制中的P
54
            damping=0.5,  # PD控制中的D
55
            friction=0.01,  # 执行器摩擦系数
56
        ),
57
    },
58
)

注意：这里把宇树的子类换成对应的父类（如 IdealPDActuatorCfg → DCMotorCfg），可在 IsaacLab 中查看对应配置项的参数信息。

回到 go2_demo_velocity.py 导入自定义机器人配置，并补充传感器：

1
# 导入自定义机器人配置
2
from go2_demo.assets.robot.unitree import UNITREE_GO2_CFG as RobotCFG
3

4
robot: ArticulationCfg = RobotCFG.replace(prim_path="{ENV_REGEX_NS}/Robot")
5

6
# 传感器
7
height_scanner = RayCasterCfg(
8
    prim_path="{ENV_REGEX_NS}/Robot/base",
9
    offset=RayCasterCfg.OffsetCfg(pos=(0.0, 0.0, 20.0)),
10
    ray_alignment="yaw",
11
    pattern_cfg=patterns.GridPatternCfg(resolution=0.1, size=[1.6, 1.0]),
12
    debug_vis=False,
13
    mesh_prim_paths=["/World/ground"],
14
)
15
contact_forces = ContactSensorCfg(prim_path="{ENV_REGEX_NS}/Robot/.*", history_length=3, track_air_time=True)
16

17
sky_light = AssetBaseCfg(
18
    prim_path="/World/skyLight",
19
    spawn=sim_utils.DomeLightCfg(
20
        intensity=750.0,
21
        texture_file=f"{ISAAC_NUCLEUS_DIR}/Materials/Textures/Skies/PolyHaven/kloofendal_43d_clear_puresky_4k.hdr",
22
    ),
23
)

2.2 观测配置类 observations#

定义策略网络可获取的状态信息（如关节角度、速度、地形扫描）。注意先导入 mdp 包，再定义策略网络和评价网络的观测项框架：

1
@configclass
2
class ObservationsCfg:
3
    # 策略网络
4
    @configclass
5
    class PolicyCfg(ObsGroup):
6
        """Observations for policy group."""
7
        # 机体线速度
8
        base_lin_vel = ObsTerm(func=mdp.base_lin_vel, noise=Unoise(n_min=-0.1, n_max=0.1))
9
        # 机体角速度
10
        base_ang_vel = ObsTerm(func=mdp.base_ang_vel, noise=Unoise(n_min=-0.2, n_max=0.2))
11
        # 投影重力
12
        projected_gravity = ObsTerm(
13
            func=mdp.projected_gravity,
14
            noise=Unoise(n_min=-0.05, n_max=0.05),
15
        )
16
        # 速度指令
17
        velocity_commands = ObsTerm(func=mdp.generated_commands, params={"command_name": "base_velocity"})
18
        # 关节位置
19
        joint_pos = ObsTerm(func=mdp.joint_pos_rel, noise=Unoise(n_min=-0.01, n_max=0.01))
20
        # 关节速度
21
        joint_vel = ObsTerm(func=mdp.joint_vel_rel, noise=Unoise(n_min=-1.5, n_max=1.5))
22
        # 上一次动作
23
        actions = ObsTerm(func=mdp.last_action)
24
        # 高度扫描
25
        height_scan = ObsTerm(
26
            func=mdp.height_scan,
27
            params={"sensor_cfg": SceneEntityCfg("height_scanner")},
28
            noise=Unoise(n_min=-0.1, n_max=0.1),
29
            clip=(-1.0, 1.0),
30
        )
31

32
        def __post_init__(self):
33
            self.enable_corruption = True
34
            self.concatenate_terms = True
35

36
    # observation groups
37
    policy: PolicyCfg = PolicyCfg()
38

39
    # 评价网络
40
    @configclass
41
    class CriticCfg(ObsGroup):
42
        base_lin_vel = ObsTerm(func=mdp.base_lin_vel, noise=Unoise(n_min=-0.1, n_max=0.1))
43
        base_ang_vel = ObsTerm(func=mdp.base_ang_vel, noise=Unoise(n_min=-0.2, n_max=0.2))
44
        projected_gravity = ObsTerm(
45
            func=mdp.projected_gravity,
46
            noise=Unoise(n_min=-0.05, n_max=0.05),
47
        )
48
        velocity_commands = ObsTerm(func=mdp.generated_commands, params={"command_name": "base_velocity"})
49
        joint_pos = ObsTerm(func=mdp.joint_pos_rel, noise=Unoise(n_min=-0.01, n_max=0.01))
50
        joint_vel = ObsTerm(func=mdp.joint_vel_rel, noise=Unoise(n_min=-1.5, n_max=1.5))
51
        actions = ObsTerm(func=mdp.last_action)
52
        height_scan = ObsTerm(
53
            func=mdp.height_scan,
54
            params={"sensor_cfg": SceneEntityCfg("height_scanner")},
55
            noise=Unoise(n_min=-0.1, n_max=0.1),
56
            clip=(-1.0, 1.0),
57
        )
58

59
    critic: CriticCfg = CriticCfg()

2.3 动作配置类 actions#

指定智能体输出的控制指令类型（如关节位置、速度或力矩）：

1
# 动作配置
2
@configclass
3
class ActionsCfg:
4
    """Action specifications for the MDP."""
5

6
    joint_pos = mdp.JointPositionActionCfg(
7
        asset_name="robot",
8
        joint_names=[".*"],
9
        scale=0.5,
10
        use_default_offset=True,
11
    )

2.4 指令配置类 commands#

生成任务目标（如期望速度或朝向），供策略追踪：

1
@configclass
2
class CommandsCfg:
3
    """Command specifications for the MDP."""
4

5
    base_velocity = mdp.UniformVelocityCommandCfg(
6
        asset_name="robot",
7
        resampling_time_range=(10.0, 10.0),
8
        rel_standing_envs=0.02,
9
        rel_heading_envs=1.0,
10
        heading_command=True,
11
        heading_control_stiffness=0.5,
12
        debug_vis=True,
13
        ranges=mdp.UniformVelocityCommandCfg.Ranges(
14
            lin_vel_x=(-1.0, 1.0),
15
            lin_vel_y=(-1.0, 1.0),
16
            ang_vel_z=(-1.0, 1.0),
17
            heading=(-math.pi, math.pi),
18
        ),
19
    )

2.5 奖励配置类 rewards#

计算每一步的奖励信号，引导策略学习期望行为：

1
# 奖励函数
2
@configclass
3
class RewardsCfg:
4
    track_lin_vel_xy_exp = RewTerm(
5
        func=mdp.track_lin_vel_xy_exp,
6
        weight=1.0,
7
        params={"command_name": "base_velocity", "std": math.sqrt(0.25)},
8
    )
9
    track_ang_vel_z_exp = RewTerm(
10
        func=mdp.track_ang_vel_z_exp,
11
        weight=0.5,
12
        params={"command_name": "base_velocity", "std": math.sqrt(0.25)},
13
    )

2.6 终止条件配置类 terminations#

设定环境结束条件（如机器人摔倒或超时）：

1
# 终止条件
2
@configclass
3
class TerminationsCfg:
4
    # 时间终止
5
    time_out = DoneTerm(func=mdp.time_out, time_out=True)
6
    # 机身碰撞地面
7
    base_contact = DoneTerm(
8
        func=mdp.illegal_contact,
9
        params={"sensor_cfg": SceneEntityCfg("contact_forces", body_names="base"), "threshold": 1.0},
10
    )
11
    # 倾斜角度
12
    bad_orientation = DoneTerm(func=mdp.bad_orientation, params={"limit_angle": 0.8})

2.7 事件配置类 events#

配置域随机化、初始状态扰动等事件，增强策略鲁棒性：

1
# 事件配置
2
@configclass
3
class EventCfg:
4
    reset_base = EventTerm(
5
        func=mdp.reset_root_state_uniform,  # 触发函数
6
        mode="reset",  # 触发时机--复位
7
        params={
8
            "pose_range": {"x": (-0.5, 0.5), "y": (-0.5, 0.5), "yaw": (-3.14, 3.14)},
9
            "velocity_range": {
10
                "x": (-0.0, 0.0),
11
                "y": (-0.0, 0.0),
12
                "z": (-0.0, 0.0),
13
                "roll": (-0.0, 0.0),
14
                "pitch": (-0.0, 0.0),
15
                "yaw": (-0.0, 0.0),
16
            },
17
        },
18
    )

2.8 课程学习配置类 curriculum#

根据智能体当前表现动态调整任务难度（如地形等级），实现渐进式训练以加速策略收敛。本次暂不对其进行配置，直接注释即可。

3、注册 Gym 环境#

复制 __init__.py 文件中的注册部分代码，修改如下：

1
gym.register(
2
    id="Go2-velocity-v0",  # 环境ID
3
    entry_point="isaaclab.envs:ManagerBasedRLEnv",
4
    disable_env_checker=True,
5
    kwargs={
6
        "env_cfg_entry_point": f"{__name__}.go2_demo_velocity:GO2RobotDemoEnv",  # 环境文件名:环境类名
7
        "rsl_rl_cfg_entry_point": f"{agents.__name__}.rsl_rl_ppo_cfg:PPORunnerCfg",
8
    },
9
)

4、调整 PPO 网络#

文件位置在 agents/rsl_rl_ppo_cfg.py，调整至以下：

1
@configclass
2
class PPORunnerCfg(RslRlOnPolicyRunnerCfg):
3
    num_steps_per_env = 124
4
    max_iterations = 50000
5
    save_interval = 100
6
    experiment_name = "go2_demo"
7
    policy = RslRlPpoActorCriticCfg(
8
        init_noise_std=1.0,
9
        actor_hidden_dims=[512, 256, 128],
10
        critic_hidden_dims=[32, 32],
11
        activation="elu",
12
    )
13
    algorithm = RslRlPpoAlgorithmCfg(
14
        value_loss_coef=1.0,
15
        use_clipped_value_loss=True,
16
        clip_param=0.2,
17
        entropy_coef=0.005,
18
        num_learning_epochs=5,
19
        num_mini_batches=4,
20
        learning_rate=1.0e-3,
21
        schedule="adaptive",
22
        gamma=0.99,
23
        lam=0.95,
24
        desired_kl=0.01,
25
        max_grad_norm=1.0,
26
    )

四、验证与训练#

1、验证环境#

在 conda 环境下运行随机策略：

1
python scripts\random_agent.py --task Go2-velocity-v0 --num_envs 14

跑通后机器人开始运动。再运行零策略验证（机器人静止状态）：

1
python scripts\zero_agent.py --task Go2-velocity-v0 --num_envs 14

2、正式训练#

无窗口渲染训练：

1
python scripts\rsl_rl\train.py --task Go2-velocity-v0 --num_envs=400 --max_iterations 1000 --headless

3、参数可视化#

TensorBoard 查看训练曲线：

1
tensorboard --logdir logs

4、评估策略#

运行下列命令，观察训练的最终模型效果并保存模型权重文件：

1
python scripts\rsl_rl\play.py --task Go2-velocity-v0 --num_envs 16

在仿真器中可以观察到四足机器人的行走姿态。

五、优化策略#

主要针对奖励函数作优化，将速度追踪权重调大，并添加了几个约束惩罚项：

1
# 奖励函数
2
@configclass
3
class RewardsCfg:
4
    # 线速度追踪
5
    track_lin_vel_xy_exp = RewTerm(
6
        func=mdp.track_lin_vel_xy_exp,
7
        weight=3.0,
8
        params={"command_name": "base_velocity", "std": math.sqrt(0.25)},
9
    )
10
    # 角速度追踪
11
    track_ang_vel_z_exp = RewTerm(
12
        func=mdp.track_ang_vel_z_exp,
13
        weight=1.5,
14
        params={"command_name": "base_velocity", "std": math.sqrt(0.25)},
15
    )
16
    # 约束姿态
17
    flat_orientation_l2 = RewTerm(func=mdp.flat_orientation_l2, weight=-2.5)
18
    # 限制某些部位不着地
19
    undesired_contacts = RewTerm(
20
        func=mdp.undesired_contacts,
21
        weight=-1.0,
22
        params={
23
            "sensor_cfg": SceneEntityCfg(
24
                "contact_forces",
25
                body_names=["Head_.*", ".*_hip", ".*thigh", ".*_calf"],
26
            ),
27
            "threshold": 1.0,
28
        },
29
    )
30
    # 惩罚关节速度
31
    joint_vel = RewTerm(func=mdp.joint_vel_l2, weight=-0.001)
32
    # 惩罚关节加速度
33
    joint_acc = RewTerm(func=mdp.joint_acc_l2, weight=-2.5e-7)
34
    # 惩罚输出力矩过大
35
    joint_torques = RewTerm(func=mdp.joint_torques_l2, weight=-2e-4)
36
    # 惩罚相邻时刻动作变化过大
37
    action_rate = RewTerm(func=mdp.action_rate_l2, weight=-0.1)

重新训练后再评估，四足机器人的姿态会明显改善。

六、总结#

本文完整走了一遍 IsaacLab 中的机器人仿真训练流程，从环境搭建、MDP 配置到训练与奖励调优。主要参考猫猫烤肉师傅的 B 站免费教程与 Isaac Lab 官方文档，并对视频中未放出的代码和概念做了补充。如有错误，欢迎指正。