健身房环境的转换记录器包装器

用于健身房环境的简单且无处不在的转换记录器包装器，用于促进离线强化学习 (RL) 数据集的制造。转换（观察、动作、奖励、完成和信息）和情节（转换集）通过 LZ4 压缩进行缓冲，每个情节都保存为 JSON 行 (.jsonl)。可以进一步处理输出文件以与Ray RLlib等离线 RL 库兼容（请参阅用法）。

要求

• 蟒蛇> = 3.6
• 皮皮包：pip install -r requirements.txt

用法

只需导入和包装您的 Gym 环境：

import gym
from gym_recorder import TransitionRecorderWrapper  # import the wrapper

env = gym.make("CartPole-v1")
env = TransitionRecorderWrapper(env)  # wrap your environment
env.reset()

# Use your environment as you would
while True:
    env.render()
    action = env.action_space.sample()
    obs, reward, done, info = env.step(action)
    if done:
        env.reset()

您还可以使用该save_folder选项自定义转换的保存位置、min_transitions_per_file自定义输出文件大小以及使用该compress选项禁用压缩。

转换

生成的.jsonl文件可以进一步处理以供离线 RL 库使用，例如Ray RLlib。要将.jsonl包装器生成的数据集转换为RLlib 离线数据集，您可以运行以下命令：

python -m gym_recorder.converters.ray -i data/raw -o data/ray

可以使用 找到更多选项python -m gym_recorder.converters.ray --help。