構成
3D Warehouse (棚 / 柱 / 作業員 / 他AGV)
↓
A* Global Planner → Waypoints
↓
18-dim Observation
├ local waypoint
├ current speed
├ 7 rays (static + dynamic)
└ dangerous objects #1 / #2
↓
Actor: 18 → 64 → 64 → [steering, throttle]
Critic: 18 → 64 → 64 → value
↓
steering + throttle → AGV
3D表示ですが、AGVは床面を走るため制御状態は x / z / yaw / speed です。ドローンのような完全6DoF制御とは分離しています。
3Dシミュレーター
3D initializing…
Speed
-
Throttle
-
Steering
-
TTC #1
-
Replans
-
Status
-
Curriculum
PPO学習
Update
0
Rollout steps
-
Train success
-
Promotion success
-
Holdout success
-
Holdout collision
-
PPO診断
Actor loss
-
Critic loss
-
Approx KL
-
Clip fraction
-
Entropy
-
Explained variance
-
Approx KLやClip fractionが急に大きくなる場合は、Actor LRまたはEpochsが強すぎる可能性があります。
学習曲線
モデル保存 / 復元
Actor/Critic重み、Optimizer状態、Stage、Update数を保存します。
最終Test suite
Promotion判定に使わないHoldout seedのみで評価します。
| Test | 内容 | 成功率 | 衝突率 | 平均Reward | 停止率 |
|---|---|---|---|---|---|
| Holdout | 現在Stage・未知倉庫 | — | — | — | — |
| Crossing | 通路を横切る作業員/AGV | — | — | — | — |
| Dense | 高密度棚＋移動体 | — | — | — | — |
| Fast | 高速移動体 | — | — | — | — |
| Chaos | 混雑＋方向転換＋ノイズ | — | — | — | — |