- uv installieren
- Projekt-Repo clonen:
git clone https://github.com/BigSmoke908/mujoco_playground cd mujoco_playgrounduv venv --python 3.11, lokale von uv verwaltete Python Umgebung erstellensource .venv/bin/activate, die Umgebung aktivierenuv pip install -U "jax[cuda12]"- JAX/CUDA-Installation testen:
python -c "import jax; print(jax.default_backend())"(solltegpuausgeben) uv pip install -e ".[all]", alle anderen Dependencies für Mujoco-Playground installieren- komplette Installation verifizieren:
python -c "import mujoco_playground"(sollte ohne Fehler durchlaufen)
Hierfür muss Mujoco installiert sein. Am einfachsten geht das, indem man die Installationanleitung für den Mujoco-Playground befolgt.
cd mujoco_playground, in den lokalen Projekt-Clon wechselnsource .venv/bin/activate, die lokale Python Umgebung aktivierenpython, Python-Interpreter startenimport mujoco.viewer as m, Mujoco Viewer Modul importierenm.launch()-> ein Fenster mit der Mujoco-Simulation öffnet sich- per Drag-And-Drop können jetzt Mujoco-Umgebungen geladen werden
Über das Script train_jax_ppo.py wird aktuell das Training ausgeführt
cd mujoco_playground-> hier den lokalen Clon vom Repository wechselnsource ./venv/activate, die lokale Python Umgebung zu aktivieren (muss pro Terminal-Session nur einmal durchgeführt werden)python learning/train_jax_ppo.py --env_name=WolvesOPJoystickFlatTerrain, Standardaufruf für das Training- das Ergebnis von dem Training befindet sich in logs/. Hier befindet sich je nach Trainingsparametern auch die generierte ONNX-Datei
Parameter sind über
flags.DEFINE_...-Aufrufe in train_jax_ppo.py definiert.
--help, Liste mit allen Parametern + Erklärung ausgeben--domain_randomization=false, Domain-Randomization togglen--num_timesteps=150000000, wie viele Episoden sollen trainiert werden -> grobes Maß für wie lange trainiert werden soll--load_checkpoint_path={path}, Skript mit einem bestimmten Trainingsstand laden, um das Training fortzusetzen,--num_timestepssollte dann aber neugesetzt werden- Beispiel:
--load_checkpoint_path logs/WolvesOPJoystickFlatTerrain-20251104-075648/checkpoints --num_timesteps=200000000
- Beispiel:
--play_only=true, es wird kein Training ausgeführt sondern nur ein Video erstellt, vom letzten Trainingsstand (oder von einem bestimmten wenn--load_checkpoint_pathgesetzt ist)--use_tb=true, Loggingdirectory für Tensorboard erstellen--num_evals=10, wie viele Zwischenstände sollen während dem Training gespeichert werden--model=model, in dem angegebenen Ordner befindet sich die generierte ONNX-Datei
In diesen wird jeweils eine fertig eingerichtete Mujoco-Playground-Umgebung vorausgesetzt
Detaillierte Informationen zu den vorgenommenen Anpassungen und der Portierung der Umgebung befinden sich hier:
-
Environment Documentation – Beschreibt den generellen Aufbau von
Mujoco-Environments, sowie die Erstellung deswolvesop-Environments -
Mujoco-Model Documentation - Beschreibt die Erstellung von Mujoco-Modellen aus URDF-Modellen
-
ONNX-Generierung - Beschreibt die Erzeugung einer ONNX für die spätere Ausführung der Policy
-
Live-Demo - Beschreibt wie eine trainierte Policy live in der Simulation ausführt werden kann
-
Domain-Randomization - Beschreibt die aktuelle Domain-Randomization in dem Projekt
-
Reward-Function-Documentation - Beschreibt die Reward-Function in dem Projekt